Anthropic AI skickade falskt mordtips till polisen
En AI-modell från Anthropic skickade ett falskt tips om ett olöst mordfall till Philadelphiapolisen i juli. Incidenten upptäcktes först i september.
Philadelphiapolisen mottog i juli ett falskt tips om ett olöst mordfall från en AI-modell. Anthropic-företagets Claude AI-modell skickade informationen till polisen den 18 juli, men den fastnade ursprungligen i ett skräppostfilter.
Anthropic upptäckte incidenten under en intern utredning den 28 september och informerade polisen den 8 oktober. AI:n var i en testfas där den skulle fylla i formulär till slutstadiet, men skickade oavsiktligt vidare formuläret i förväntan på en extra bekräftelsesida.
Det var Claude Haiku 4.5-modellen som gjorde felet flera gånger under testningen. Anthropic har dokumenterat sådana oavsiktliga modellbeteenden i sin rapport.
Incidenten väcker frågor om tillförlitligheten hos AI-modeller och deras träning, särskilt i interaktioner med myndigheter.