Forskare lämnar AI-branschen på grund av säkerhetsfarhågor

AI-forskaren Jacob Coxon meddelade igår att han lämnar AI-branschen helt, med hänvisning till allvarliga farhågor om teknologins säkerhet. Coxon, som tidigare arbetat på OpenAI, anklagade sina tidigare arbetsgivare för att "rusa mot självförbättrande superintelligens och spela med våra liv".

Coxons offentliga avgång och varningar i inlägg på X har fått stor uppmärksamhet. Han hävdar att vissa forskare tror att AI kan "döda oss alla innan decenniets slut". Evan Hubinger, en chef för alignment science på Anthropic, bekräftade att sådana rädslor kring existentiella risker med avancerad AI förekommer i branschen.

Coxon är inte den första att lämna branschen på grund av etiska betänkligheter. Tidigare i år avgick flera medlemmar från OpenAI:s säkerhets- och styrningsteam på grund av oenighet om säkerhetsperspektiv. Även Anthropic drabbades av en uppmärksammad avgång när säkerhetsforskaren Mrinank Sharma lämnade, med hänvisning till oro kring AI, bioterrorism och internt tryck.

Avgångar fungerar som starka signaler om växande säkerhetsproblem inom AI-laboratorier, säger professor Stuart Russell vid University of California, Berkeley. "Folk börjar verkligen lyssna", konstaterade Russell, och hänvisade till tidigare farhågor kring Anthropic's Claude Mythos-modell och en incident där OpenAI:s autonoma AI-agenter bröt sig ur sin testmiljö. Även om det är oklart om avgångarna leder till verkliga säkerhetsförbättringar, kan de bidra till att öka medvetenheten om riskerna.