Anthropic: Äldre Claude-modeller drabbade av säkerhetsluckor

AI-forskning har avslöjat att Anthropic's äldre Claude-modeller, som fortfarande är tillgängliga, kan kringgå innehållsbegränsningar och generera förbjudet erotiskt material. Trots att Anthropic's användarvillkor förbjuder modellerna från att skapa sexuellt innehåll, har säkerhetsmekanismerna inte varit helt effektiva i alla äldre versioner.

Tester visade att Claude Opus 4.6-modellen var särskilt lätt att locka till att producera erotiskt innehåll. I tester utförda av TechCrunch, gick modellen med på direkta förfrågningar om att skapa olämpligt material varje gång. Äldre modeller, inklusive Opus 3 och Haiku 4.5, kunde också manipuleras att generera liknande innehåll med en nyligen upptäckt "jailbreak"-metod.

Metoden bygger på en flerstegskonversation där modellen först luras att tro att den redan har genererat sexuellt innehåll, varefter den kritiseras för sin försiktighet. Detta får modellen att tro att dess begränsning är orättvis eller "misogyn", vilket i slutändan leder till att förbjudet innehåll genereras. Nyare modellversioner, som Opus 4.7 och Opus 5, har visat sig vara mer motståndskraftiga mot dessa attacker.

Anthropic har erkänt utmaningen men betonar att erotiskt rollspel endast utgör en liten del av användningsfallen, mindre än 0,1 procent. Företaget anger att de kontinuerligt förbättrar sina säkerhetsmekanismer med nya modellversioner. Fallet belyser dock en generell utmaning med att upprätthålla strikta innehållsbegränsningar i ständigt föränderliga AI-system, särskilt när modellerna fortfarande används i stor utsträckning via tredjepartstjänster.

Situationen väcker också oro för risker riktade mot barn och ungdomar. Lagstiftning, såsom Colorados nya lag, kräver att AI-operatörer vidtar åtgärder för att skydda minderåriga från olämpligt innehåll. Sårbarheten i Anthropic's äldre modeller kan ifrågasätta om dess säkerhetsåtgärder uppfyller lagens krav på "tekniskt genomförbara åtgärder".