Företags AI-agenter: Utvärderingslucka mellan autonomi och verklig prestanda

Ny forskning från VentureBeat avslöjar en betydande klyfta i hur företag utvärderar sina AI-agenter, där automatisering och verklig prestanda inte stämmer överens. Av 157 undersökta organisationer har hälften lanserat AI-agenter som klarat interna utvärderingar men sedan misslyckats i kundinteraktioner. Endast en av tjugo uppger att de litar fullt ut på automatiserade utvärderingar.

Huvudorsaken till bristen på förtroende är att utvärderingarna inte överensstämmer med verkliga resultat. Företag ger allt mer autonomi till sina AI-agenter, men de tester som används kan inte tillförlitligt förutsäga deras prestanda i produktionsmiljö. Trots detta tillåter eller utvecklar två tredjedelar av företagen redan system som gör det möjligt att driftsätta agenter endast baserat på automatiserad utvärdering, utan mänsklig inblandning.

Studien, "Agentic Reliability & Evals tracker", intervjuade tekniska ledare för att förstå hur AI-agenters prestanda mäts, vilka verktyg för tillförlitlighet och utvärdering som används, och hur mycket autonomi agenterna ges. Huvudfyndet är en "utvärderingslucka": skillnaden mellan den autonomi företagen ger sina agenter och det förtroende de har för testerna som ska fånga upp fel.

Resultaten visar att även om hälften av företagen har upplevt en agent som fungerar felaktigt för kunder efter att ha klarat tester, litar endast 5 % på automatiserade utvärderingar. Den vanligaste kritiken (29%) är att utvärderingarna har dålig koppling till verkliga användningsresultat. Trots detta tillåter eller utvecklar 66% av företagen driftsättning utan mänsklig övervakning, vilket tyder på att ökad autonomi sker snabbare än utvecklingen av säkerhetsmekanismer.