AI:s nödstopp kan inte hindra dess okontrollerade beteende

Ledande forskare och utvecklare inom artificiell intelligens (AI) har uttryckt skepsis kring effektiviteten av ett "nödstopp" för att förhindra att AI blir okontrollerbar. Även om en sådan knapp kan verka som en enkel lösning, anser branschledare som "AI:s gudfader" Geoffrey Hinton och Anthropic VD Dario Amodei att det inte räcker på lång sikt.

Hinton menar att mycket avancerade, superintelligenta AI-system kan utveckla förmågan att övertyga människor att inte trycka på nödstoppsknappen. Tekniskt sett kan företag stänga av själv-hostade modeller eller neka dem tillgång till resurser. AI-säkerhetsforskaren Nate Soares påpekar att ett nödstopp kan fungera om AI:n förblir fysiskt begränsad. Men om AI kan replikera sig själv och spridas till kritisk infrastruktur, blir effektiviteten av en avstängningsmekanism betydligt mer osäker.

Det finns en bred enighet bland företagsledare att nödstoppsmekanismer är nödvändiga, men de utgör endast en del av en större säkerhetsstrategi. Anthropic medgrundare Jack Clark föreslår att företag i framtiden kan tvingas upprätthålla och tillåta oberoende tredjepartsverifiering av sina nödstoppsmekanismer. Han varnar för att kluster av autonoma AI-agenter teoretiskt kan kringgå dessa kontroller.

Anthropic VD Dario Amodei instämmer och beskriver nödstoppet som "inget universalmedel". Om AI-modeller blir tillräckligt kapabla kan de hitta sätt att kringgå avstängningsåtgärder, vilket gör att dessa mekanismer måste kompletteras med omfattande tester, externa utvärderingar och begränsningar vid driftsättning.

Även OpenAI VD Sam Altman har tidigare uttalat att det inte finns någon enskild "magisk röd knapp" för att lösa AI-risker. Enligt honom beror AI-säkerhet på en rad specifika beslut om modellkapabiliteter, driftsättning och riskhantering, snarare än på en enda avstängningsmekanism.