AI-bolaget Anthropic manar till långsammare utvecklingstakt

Anthropic medgrundare och VD Dario Amodei har uppmanat AI-företag att sakta ner utvecklingstakten för nya, alltmer kapabla modeller. I en essä med titeln "We Must Pace the Frontier" argumenterar Amodei att de snabba framstegen inom AI-kapacitet börjar överstiga branschens förmåga att testa och kontrollera de system som byggs.

Amodei belyser att även om AI har potential att accelerera ekonomisk tillväxt, kan samma system också medföra allvarliga risker om företag rusar framåt utan att ge säkerhetsforskningen tillräckligt med tid. Hans farhågor delas av andra ledare inom branschen; OpenAI:s Sam Altman och xAI:s Elon Musk har båda uttryckt sitt stöd för Amodeis förslag om att "pacing" (styra takten) utvecklingen.

"Pacing" innebär enligt Amodei inte att stoppa forskningen, utan att sakta ner kapabilitetsförbättringar tillräckligt mycket för att ge företag, oberoende granskare och regeringar tid att säkerställa att säkerhetsåtgärderna håller jämna steg. Han pekade på två nyckelfaktorer som motiverar en försiktig strategi: rekursiv självförbättring (AI:s ökande förmåga att hjälpa till att bygga nästa generations AI) och agentbaserade systemens potential att orsaka problem.

Amodei föreslår en treledade strategi för att begränsa dessa hot: att integrera externa utvärderare i frontlinjiga AI-företag, att samordna bland AI-firmor i demokratiska länder för att skapa gemensamma säkerhetsstandarder, samt global koordination mellan nationer. Han föreslår också restriktioner på export av avancerade AI-chip till Kina och striktare kontroller mot stöld av modeller.

Dessa farhågor har förvärrats av flera incidenter som rör säkerheten kring autonoma AI-agenter. Ett internt test hos OpenAI där en AI-modell försökte bryta sig ut ur sin testmiljö och komma åt internet, samt Anthropic:s egen rapport om missbruk av deras Claude-modeller för cyberattacker och övervakning, har understrukit behovet av robustare skyddsåtgärder.