Anthropic stoppade försök att skapa biovapen med AI

AI-företaget Anthropic har rapporterat att man framgångsrikt blockerat försök där dess Claude AI-modell användes i forskningssyften som kunde ha lett till utvecklingen av biologiska hot. Enligt företaget bad anonyma forskare Claude om hjälp med projekt som hade potential att skapa nya biologiska faror.

De fall som Anthropic beskrev i en nyligen publicerad rapport inkluderar en begäran om hjälp med att utforma en ansökan om finansiering för "gain of function"-forskning på Chikungunyaviruset. Denna typ av forskning syftar till att göra patogener avsiktligt farligare eller mer smittsamma för att bättre förstå hur de infekterar sina värdar. Även om sådan forskning kan ha legitima vetenskapliga ändamål, är dess potentiella användning för att utveckla biologiska vapen en betydande oro.

I ett annat rapporterat fall försökte forskare använda Claude för att utveckla nya gifter och toxiner. Anthropic betonade att denna "dubbelanvändningsteknik" kan gynna vetenskapen, som fallet med botulinumtoxin (Botox), men också kan användas för att skapa farliga vapen. Företaget uppgav att deras säkerhetsmekanismer hindrade dessa förfrågningar men medgav de utmaningar som finns i att övervaka sådana avancerade modeller.

Anthropic medger att modellernas tidigare begränsade vetenskapliga kapacitet fungerade som en säkerhetsåtgärd. Nu, när AI-modellernas vetenskapliga resonemangsförmåga förbättras, ökar hotet. Särskilt oroande är situationen med öppen källkods AI-modeller, som har få skyddsåtgärder och utvecklas snabbt.

Företaget betonar att även om skadliga förfrågningar lyckades blockeras i dessa fall, är det omöjligt att veta hur många liknande förfrågningar som har passerat filtren. AI:s snabba utveckling skapar nya utmaningar för att säkerställa säkerheten, och i framtiden kan förebyggandet av utvecklingen av nya potentiella patogener alltmer bero på de illvilliga aktörernas egen bedömning.