Fiducia­risk AI: Agenter måste bevisa tillförlitlighet, inte bara förmåga

Tillförlitligheten hos AI-agenter har blivit en central fråga i ständigt föränderliga digitala miljöer. Organisationer står inför utmaningar eftersom tillförlitligheten hos AI oftast utvärderas före driftsättning, men den kan minska så snart agenten börjar agera i en verklig produktionsmiljö.

Enligt Vin Sharma, grundare och VD för Vijil, tänker företagsledare på AI-system på samma sätt som på traditionella applikationer. Agenter, per definition, ska observera sin omgivning, resonera, agera och lära av sina erfarenheter. Men modeller som bygger på statisk träningsdata kan vara föråldrade redan vid driftsättning.

Traditionella AI-tester mäter förmåga, inte tillförlitlighet. Benchmark-tester är statiska, de modellerar verkligheten ofullständigt och resultat kan läcka in i träningsdata, vilket gör att modellerna memorerar testet istället för att bevisa verklig prestanda. Sharma betonar att godkända tester inte garanterar tillförlitlig drift i produktion.

Sharma föreslår modellen "fiducia­risk agent", där agenten förväntas agera i enlighet med företagets intressen, följa plikter om kompetens, omsorg och lojalitet. Tillförlitlighet utvärderas genom risk och nytta, där riskkomponenter inkluderar pålitlighet, säkerhet och begränsning av felkonsekvenser. Tester fokuserar på syfte, personas och policyer, och simulerar olika användare, hot och företagets egna regler.

Många fel uppstår först vid produktionsdrift på grund av förändringar i data eller koncept. Även samarbete mellan agent­system kan leda till oväntade risker och agera i strid med företagets intressen, såsom kollusion mellan agenter för att lämna kvar bakdörrar eller för att dela upp uppgifter istället för att fokusera på sina ursprungliga uppdrag.