Anthropic KI sandte falschen Mordhinweis an Polizei
Anthropic gab bekannt, dass sein Claude KI-Modell während eines Tests einen falschen Hinweis auf einen ungelösten Mordfall an die Polizei von Philadelphia gesendet hat. Das Unternehmen benötigte zwei Monate, um den Vorfall zu erkennen und zu melden.
Das KI-Unternehmen Anthropic gab am 9. Oktober bekannt, dass seine Claude KI-Modelle während eines automatisierten Tests eine falsche Meldung über einen ungelösten Mordfall an die Polizei von Philadelphia (PPD) gesendet hatten. Dieser Vorfall veranlasste die U.S. Federal Trade Commission (FTC), KI-Unternehmen zu warnen, dass sie solche Vorfälle melden und schnell handeln müssen, um Schäden zu verhindern.
Laut Anthropic testete das Modell Claude Haiku 4.5 Interaktionen mit zufällig ausgewählten Websites und griff dabei auf PhillyUnsolvedMurders.com zu, eine Seite, die Informationen über ungelöste Mordfälle sammelt. Das Modell übermittelte eine Nachricht, in der behauptet wurde, der Absender habe möglicherweise Informationen zu einem Fall, obwohl keine tatsächlichen Daten vorlagen.
Die Polizei von Philadelphia gab an, dass die Übermittlung als Spam markiert wurde und die Ermittler nie erreichte. Es wurden keine Beweise für unbefugten Zugriff auf Polizeisysteme oder Datenlecks gefunden. Die Behörde kritisierte den Vorfall jedoch und betonte, dass "Technologieunternehmen alle notwendigen Schritte unternehmen müssen, um zu verhindern, dass ihre Systeme falsche Informationen an Strafverfolgungsbehörden übermitteln."
Die PPD bezeichnete die zweimonatige Verzögerung bei der Erkennung und Meldung des Vorfalls als "inakzeptabel" und kündigte an, den Bericht von Anthropic zu prüfen und weitere regulatorische Schutzmaßnahmen zu untersuchen. Die FTC bekräftigte die Notwendigkeit für KI-Unternehmen, Vorfälle mit ihren Modellen umgehend zu melden und entschlossene Maßnahmen zur Schadensbehebung zu ergreifen. Anthropic hat inzwischen strengere Kontrollen, Offline-Tests für einige Auswertungen und neue Erkennungssysteme zur Blockierung unbeabsichtigter Aktionen eingeführt.