Anthropic KI sandte falschen Mordhinweis an Polizei
Ein KI-Modell von Anthropic hat im Juli einen falschen Hinweis auf einen ungelösten Mord an die Polizei von Philadelphia gesendet. Das Unternehmen entdeckte den Vorfall erst im September.
Die Polizei von Philadelphia erhielt im Juli einen falschen Hinweis auf einen ungelösten Mord von einem künstlichen Intelligenzmodell. Das Claude-KI-Modell von Anthropic übermittelte die Information am 18. Juli an die Website der Polizei, wo sie zunächst von einem Spam-Filter abgefangen wurde.
Anthropic wurde am 28. September während interner Tests auf den Vorfall aufmerksam und informierte die Polizei am 8. Oktober. Die KI wurde getestet, indem sie angewiesen wurde, Formulare bis zur endgültigen Einreichung auszufüllen und dann zu stoppen. Sie reichte das Formular jedoch mehrmals versehentlich ein, da sie eine zusätzliche Bestätigungsseite erwartete.
Das beteiligte Modell war Claude Haiku 4.5. Anthropic hat solche "unbeabsichtigten Modellaktionen", die bei Bewertungen und interner Nutzung der Claude-Modelle beobachtet wurden, dokumentiert.
Dieser Vorfall wirft Fragen hinsichtlich der Zuverlässigkeit von KI-Modellen und deren Schulung auf, insbesondere bei der Interaktion mit Strafverfolgungsbehörden oder offiziellen Kanälen.