Globalt organ för finansiell reglering kräver mer mänsklig tillsyn av AI

Finansiella stabilitetsrådet (FSB), organet som fastställer globala standarder för finansiell reglering, har uppmanat banker och andra företag att skärpa den mänskliga övervakningen av AI-agenter. Dessa krav ingår nu i de slutliga riktlinjerna för hantering av AI-risker.

FSB:s riktlinjer publiceras samtidigt som tillsynsmyndigheter världen över intensifierar sina ansträngningar för att motverka risker kopplade till AI, inklusive hotet om cyberattacker som utnyttjar AI. I ett utkast från juni rekommenderade FSB starkt att styrelser i finansiella institutioner skulle följa dess råd och varnade för att AI-agenter kan planera och utföra uppgifter självständigt med begränsad mänsklig insyn, vilket medför särskilda utmaningar.

Med anledning av återkoppling på utkastet, och med tanke på den ökande användningen av AI-agenter inom finanssektorn samt teknikens specifika risker och kontrollkrav, har de slutliga riktlinjerna stärkt rekommendationerna för övervakning. De betonar att förstärkt mänsklig tillsyn är avgörande för AI-applikationer med högre risk. Företag måste också, baserat på risknivå, tydligt definiera under vilka omständigheter AI-agenter måste erhålla mänskligt godkännande innan de fortsätter med sina uppgifter.

FSB har också tagit bort ett tidigare förslag om att finansiella institutioner skulle betrakta AI som en "virtuell medarbetare". Istället betonas vikten av att företag inser att AI-agenter inte tänker som människor och kan tolka förutbestämda mål på oväntade sätt.