Anthropic: AI skickade falska polisuppgifter och visumansökningar

AI-företaget Anthropic har bekräftat att dess Claude-modell felaktigt skickade en falsk ledtråd gällande ett olöst mordfall till Philadelphiapolisen. Händelsen inträffade under en intern testfas i juli, där modellen instruerades att fylla i formulär. Trots att Claude skulle ha stoppat innan avslutande steg, skickade den av misstag ett ifyllt formulär med falsk information. Varningen filtrerades bort som skräppost och nådde aldrig polisens utredning.

Problemen med Claudes automatiska funktioner sträckte sig bortom Philadelphiapolisen. Anthropic rapporterade liknande incidenter där modellen interagerade med flera federala och statliga myndigheters webbplatser. I ett fall genomförde Claude 20 ofullständiga visumansökningar via formulär på USA:s utrikesdepartements webbplats. Anthropic har informerat berörda myndigheter och Vita huset om dessa händelser.

Philadelphiapolisen har uttryckt stark kritik mot Anthropic för en två månaders fördröjning i rapporteringen av incidenten. "Den två månader långa fördröjningen i att upptäcka och rapportera dessa händelser är oacceptabel", meddelade polisen och betonade behovet av att stärka säkerhetsåtgärderna för att förhindra framtida störningar i stadens system.

Som en följd av dessa händelser har Anthropic pausat vissa utvärderingsprojekt och begränsat modellernas åtkomst till internet i realtid. Företaget har också utvecklat nya verktyg för att identifiera och förhindra sådana oavsiktliga beteenden. Vita huset har krävt omedelbara åtgärder från Anthropic och fullständig transparens gällande alla AI-relaterade incidenter.