Expert varnar: Företag saknar kontroll över risker med AI-agenter

Steven Mills, partner och Managing Director vid Boston Consulting Group (BCG), har varnat företag för att de accelererar införandet av agentbaserad artificiell intelligens utan att förstå de tillhörande riskerna.

Mills, som även är företagets Chief AI Ethics Officer, uttryckte oro över att företag går för fort fram med agent-AI utan tillräcklig kontroll, vilket kan leda till allvarliga konsekvenser. Han skrev i ett blogginlägg att "önskan att snabbt gå vidare med AI utan att införa lämplig riskhantering kan leda till systemfel eller att användningsfall implementeras inom områden med strikta regulatoriska krav som organisationer inte är förberedda på."

Under stor press att visa produktivitetsvinster drivna av AI, har många företagsledare enligt Mills beskrivit sina riskhanteringsprogram som "klumpiga och långsamma", oförmögna att hänga med i en värld där AI skalas exponentiellt. Mills underströk de höga insatserna för företag som tar onödiga risker. "Om styrningen misslyckas, kan allt värde som byggts upp genom experiment och tidiga framgångar raserats på grund av en enda incident", skrev han.

Situationen är aktuell då även andra AI-proffs har uttryckt liknande farhågor. Gartner förutspådde tidigare i år att 40% av företagen kommer att behöva avveckla autonoma AI-agenter nästa år, efter att styrningsluckor exponerats genom "produktionsincidenter". Konsekvenser av AI-missbruk har redan visat sig före agenteran; år 2023 förbjöd Federal Trade Commission (FTC) Rite Aid att använda ansiktsigenkänningsteknik i fem år, efter att deras AI-system felaktigt identifierat tusentals kunder som misstänkta tjuvar.

Mills föreslår att företag bör skapa ett system som skiljer mellan lågrisk-användningsfall och de som kräver djupare granskning. AI-produkter med störst risk kräver mänsklig granskning. Företag bör också avsätta tillräcklig budget för styrning och säkerställa att en senior chef är ansvarig för AI-säkerheten. "Nyckeln är att strategiskt införa de stegvisa kontrollerna och granskningarna som krävs för att hantera AI-risker – och göra det till en prioritet. Systemets resultat bör leverera värde snarare än att orsaka skada."