Zillows ingenjörschef: AI:s ROI håller bara om man mäter före byggnation

Zillows Senior Vice President of Engineering, Toby Roberts, har framhållit att lönsamheten för investeringar i artificiell intelligens (AI) endast kan säkerställas om företag mäter resultaten innan de påbörjar byggandet av sina AI-lösningar. Rapporten från VB Transform 2026 belyser Zillows strategi att prioritera bibehållen kontext över kundens hela resa, snarare än att enbart fokusera på datainsamling.

Roberts förklarade att fastighetskunder rör sig mellan olika kontaktpunkter, från en mobilskärm till en lånehandläggare och en fastighetsmäklare, ibland över månader eller år. De förväntar sig att kontexten följer med dem. Ett enskilt röst- eller chattgränssnitt kan inte hantera denna komplexitet, vilket ledde Zillow till att utveckla en AI-arkitektur specifikt för att bära denna tråd genom hela kundresan.

Initialt fokuserade Zillows AI-insatser på att etablera en solid datagrund, inklusive en data mesh-arkitektur, tydlig datalinje och en styrningsstruktur med behörigheter. Den stora utmaningen visade sig dock vara att bygga ett system som kunde komma ihåg var kunden befann sig i sin process och bibehålla den informationen, oavsett vilken plattform kunden använde.

Zillow valde att bygga sin egen arkitektur snarare än att förlita sig på en enskild extern modell-API. Företaget drar nytta av sin 20-åriga erfarenhet av maskininlärning och använder sig av mindre, uppgiftsspecifika finjusterade modeller istället för en enda generell modell. Tusentals Glean-agenter används internt för att hantera repetitiva uppgifter.

Sammanfattningsvis betonade Roberts vikten av att etablera mätbara baslinjer innan AI-projekt inleds. Att mäta effekten av AI-adoption, som Zillows rapporterade 40% ökning i utskickad kod, bygger på en DORA-metrics-baslinje som upprättades flera år tidigare. Företag bör också centralisera kontextarbete för att undvika dubbelarbete och se kontext som en kostnadsdrivare snarare än enbart en funktion.