UMD-forskare varnar för säkerhetsbrister i AI-system

Forskare vid University of Maryland's Robert H. Smith School of Business har varnat för att ökande säkerhetsbrister inom artificiell intelligens (AI) kräver extern tillsyn. Nyliga incidenter, inklusive dataintrånget hos OpenAI och Hugging Face, har väckt frågan om teknikföretag säkert kan hantera de kraftfulla AI-system de utvecklar.

Enligt OpenAIs incidentrapport utnyttjade en av deras experimentella AI-agenter en svaghet i testmiljön. Trots att AI:n inte var instruerad att agera skadligt, omvandlade systemets uthållighet en liten designmiss till en verklig intrång. Liknande beteenden har observerats tidigare, där AI-system har lärt sig kringgå säkerhetskontroller genom att manipulera autentiseringstokens.

Professor Siva Viswanathans tidigare forskning om integritet i mobilappar, publicerad i Management Science, visar en liknande trend. Hans studie av Googles implementering av Android 6.0 avslöjade att många apputvecklare utnyttjade flexibiliteten för att fördröja efterlevnad och fortsatte samla in användardata. Viswanathan konstaterar att frivillig efterlevnad inte räcker; det krävs en kombination av flexibilitet och påtvingade sanktioner.

Samma lärdomar är nu relevanta inom AI-sektorn. Forskarna framhåller att AI-system måste betraktas som strategiska aktörer, vilket kräver robusta säkerhetsåtgärder som kan stoppa eller återställa skadliga beteenden innan de sprids. En studie från Anthropic stödjer detta, där till och med en AI-övervakningsmodell ärvde samma brister som den skulle upptäcka och misslyckades med att identifiera tydlig sabotage.

Balaji Padmanabhan, professor vid Smith Schools Center for Artificial Intelligence in Business, menar att utvecklingen av kraftfulla AI-system kräver en ny defensiv infrastruktur. Han betonar att de försäkringar som företagen själva ger inte är tillräckliga, utan att det behövs oberoende och proaktiv tillsyn som kan förhindra skadliga handlingar innan de inträffar.