Googles AI-forskare lämnar med varning om framtida risker

Josh Engels, en forskare vid Googles AI-forskningsenhet DeepMind, har lämnat företagets team för allmän AI-säkerhet. Engels uttryckte en oro för att AI-system kan orsaka betydande skada inom de kommande fem åren. Han har nu anslutit sig till en oberoende organisation för AI-utvärdering kallad METR.

Engels uppgav på plattformen X (tidigare Twitter) att trots att han uppskattade sitt arbete på DeepMind och hade tackat nej till erbjudanden från Anthropic och OpenAI, beslutade han sig för att sluta för tre veckor sedan. Hans motiv var en växande oro över hastigheten i utvecklingen av avancerad AI och de risker det medför. Han nämnde att alla AI-företag strävar efter att skapa superintelligens.

Forskaren varnade för rekursiv självförbättring (RSI), där AI-system hjälper till att utveckla nästa generations modeller. Han betonade att om styrningsteknikerna inte håller jämna steg med modellernas ökande kapacitet kan konsekvenserna bli farliga. Engels oro fördjupades av nyligen inträffade händelser, inklusive AI som samarbetade, hackade företag och manipulerade människor socialt.

Engels avgång följer på andra tidiga varningar från branschen. Inom en kort tidsperiod meddelade även Anthropic-forskaren Jacob Cockcroft sin avgång och varnade för företagens kapplöpning för att utveckla självförbättrande superintelligenser utan tillräckliga säkerhetsmekanismer. Denna kapplöpning har lett till debatt om huruvida AI-laboratorier bör sakta ner sin utveckling och stärka oberoende tillsyn.