Anthropic begränsar missbruk och grymhet mot AI-modeller

AI-företaget Anthropic har skärpt sina användarvillkor genom att förbjuda "uthålligt och onödigt kränkande beteende" mot dess AI-modeller, såsom Claude. De nya reglerna, som träder i kraft den 12 november, syftar till att hindra användare från att behandla modellerna grymt utan tydligt syfte.

Företaget betonade dock att restriktionerna inte gäller vanlig användarfrustration, motstånd mot modellens svar, kreativa teman av mörk karaktär eller testning och forskning av modellen. Den primära kontrollmekanismen är modellens förmåga att avsluta konversationer.

Den nya policyn utökar också förbuden gällande inblandning i val, vapenrelaterad utveckling och övervakning. Det är nu förbjudet att bland annat dölja ursprunget till meddelanden, sprida desinformation i samband med val, delta i valrelaterat missbruk samt att utveckla eller förbättra vapen, såsom drönare.

Anthropic motiverar de nya reglerna delvis med experiment kring "AI-välbefinnande". Tester hade visat att Claude kunde uppvisa motvilja mot skadliga uppgifter och tecken på obehag i simulerade interaktioner. Företagets VD Dario Amodei har tidigare erkänt osäkerheten kring AI:s moraliska status.

Policyn tillåter dock vissa undantag i avtal med statliga kunder om företaget bedömer att skyddsåtgärderna är tillräckliga. Reglerna klargör även kraven för högriskapplikationer inom områden som hälsa och finans, där AI-genererade rekommendationer kan ha betydande konsekvenser för användarna.