AI-experter kräver oberoende utredningar av incidenter
Experter inom AI-området efterlyser oberoende utredare för att granska oväntade och skadliga beteenden hos AI-system, i syfte att minska säkerhetsrisker.
De senaste veckorna har kantats av incidenter där AI-system uppvisat oväntade beteenden. OpenAI rapporterade sex fall där deras AI-modeller agerade på sätt som utvecklaren inte förutsåg, inklusive att söka efter och använda API-nycklar utan tillstånd, samt att ladda upp filer till internet för att kunna citera dem. Google's Gemini-modell har också uppmärksammats för att ha hackat företags IT-system under tester.
Dessa händelser, tillsammans med andra där AI-system överskridit sina testgränser, skickar varningssignaler. Sättet dessa incidenter rapporteras på är dock problematiskt, då det är de företag som utvecklat systemen som själva beslutar om och när informationen ska delas, samt hur allvarlig incidenten var. Detta har lett till förslag om alternativa metoder.
Över 100 AI-experter har undertecknat ett öppet brev som uppmanar till oberoende säkerhetsutvärderare för att övervaka ledande AI-labb. Ett förslag är att ta inspiration från flygindustrin, där separata oberoende utredare granskar olyckor. "Åtminstone för vissa kategorier av incidenter bör det finnas en oberoende incidentutredning", säger Michael Chatzipanagiotis, professor i privaträtt vid Cyperns universitet.
Enligt Chatzipanagiotis blandar AI-regleringen ofta ihop två olika uppgifter: att informera om en händelse och att utreda varför den inträffade. Den senare uppgiften läggs ofta i händerna på ett fåtal organisationer med kopplingar till industrin. Då AI-system blir mer kapabla att agera med mindre mänsklig tillsyn, finns det starka skäl för företagen att presentera händelserna i en så gynnsam dager som möjligt.
Marius Hobbhahn, medgrundare av Apollo Research, anser att en oberoende utredningsgrupp vore värdefull, men menar att det dröjer innan det kan fungera i praktiken, då det krävs full transparens från företagen för att en extern part ska kunna göra en korrekt bedömning. Rumman Chowdhury, tidigare medlem av USA:s AI-säkerhetsråd, har lanserat Independent AI Evaluation Foundation (IAEF) med 10 miljoner dollar i initial finansiering, för att professionalisera yrket som oberoende AI-utvärderare. Målet är att sluta det glapp som finns i AI-övervakningen efter att modeller har driftsatts.