Anthropic varnar för nära förestående kapacitet för rekursiv självförbättring

I en nyligen inlämnad rapport till den amerikanska finansinspektionen SEC varnar AI-företaget Anthropic för att utvecklingen närmar sig vad som kallas rekursiv självförbättring (RSI). Begreppet avser en punkt där en AI blir tillräckligt avancerad för att kunna träna och vidareutveckla sig själv, vilket potentiellt kan leda till en snabb och dramatisk acceleration av systemens kapacitet.

Anthropic betonar i sin redovisning att även om användningen av AI i forsknings- och utvecklingsarbete ökar effektiviteten, medför tekniken även betydande säkerhetsrisker. Risken ligger i att utvecklingstakten kan överstiga människans förmåga att övervaka och kontrollera systemens agerande.

Som svar på dessa farhågor uppger Anthropic att man tillämpar en policy för ansvarsfull skalning. Syftet är att etablera kontrollmekanismer för att identifiera och begränsa risker i takt med att modellernas självständiga förbättringsförmåga ökar.