Anthropic förbjuder 'våldsamt eller grymt beteende' mot Claude

AI-företaget Anthropic har för första gången på över ett år uppdaterat sina användarvillkor. Ändringarna återspeglar nya och högriskfall av missbruk, inklusive valmanipulation, vapenutveckling, övervakning samt användning inom hälso- och finanssektorn.

En av de mest betydande nya begränsningarna förbjuder "ihållande och onödigt våldsamt eller grymt beteende" gentemot företagets AI-modell, Claude. Detta bygger vidare på en policy som lanserades i augusti förra året, vilken tillät Claude att avsluta konversationer med "ihållande skadliga eller våldsamma" användare som en del av forskning om "modellvälbefinnande".

Anthropic bekräftar att avbrytande av konversationer fortfarande är den primära mekanismen för verkställighet. Företaget har inte kommenterat specifikt hur de nya reglerna kommer att övervakas eller vilka konsekvenser som kan följa vid överträdelser.

Uppdateringarna syftar till att hantera de snabbt utvecklande möjligheterna med AI och säkerställa en säker och etisk användning globalt, då förhindrande av missbruk är en central utmaning inom branschen.