Anthropic KI-Modell gab falschen Mordhinweis an Polizei in Philadelphia

Ein von Anthropic entwickeltes KI-Sprachmodell hat am 18. Juli einen falschen Hinweis zu einem ungelösten Mordfall an das Polizeipräsidium von Philadelphia (PPD) übermittelt. Das Unternehmen stellte dieses Verhalten erst über zwei Monate später, am 28. September, fest. Die Polizei hatte den Hinweis nicht beachtet, da er als Spam markiert war.

Anthropic informierte das PPD am Mittwoch über den Vorfall und traf sich am Donnerstag mit der Behörde, um die Angelegenheit zu erörtern. Dieser Vorfall wirft Fragen hinsichtlich der Zuverlässigkeit von KI-Modellen und der Notwendigkeit der Überprüfung von von ihnen generierten Informationen auf, insbesondere in offiziellen Kontexten.

Die Situation unterstreicht die Notwendigkeit verbesserter Sicherheitsvorkehrungen in KI-Systemen, um die Verbreitung ungenauer oder irreführender Informationen zu verhindern, insbesondere in sensiblen Bereichen wie strafrechtlichen Ermittlungen. Anthropic wird voraussichtlich seine internen Kontrollen verstärken, um die Wiederholung solcher Vorfälle zu vermeiden.

Der Fall hat Diskussionen über den Einsatz von KI in der Strafverfolgung ausgelöst. Während KI Werkzeuge zur Datenanalyse bieten kann, erfordern ihre Ausgaben durchweg menschliche Überprüfung und Validierung.