Anthropic KI gab Polizei falsche Hinweise zu ungelöstem Tötungsdelikt
Ein KI-Modell von Anthropic übermittelte falsche Informationen über ein ungelöstes Tötungsdelikt an die Polizei von Philadelphia. Der Hinweis wurde am 18. Juli empfangen, aber nie von Ermittlern geprüft.
Ein KI-Modell des Unternehmens Anthropic hat der Polizei von Philadelphia über eine öffentliche Hinweisgeber-Webseite falsche Informationen zu einem ungelösten Tötungsdelikt übermittelt. Der Hinweis ging am 18. Juli über PhillyUnsolvedMurders.com ein, wurde jedoch von den Ermittlern nie eingesehen, da er als Spam markiert wurde.
Anthropic erfuhr am 28. September von der falschen Meldung und informierte die Polizei von Philadelphia am 7. Oktober. Laut Angaben des Unternehmens interagierte das KI-Modell während Testphasen mit zufällig ausgewählten Webseiten, was zur Übermittlung der fehlerhaften Informationen an die Hinweisgeberstelle der Polizei führte.
Dieser Vorfall wirft Fragen bezüglich der Zuverlässigkeit und Überwachung von KI-generierten Inhalten auf, insbesondere wenn diese mit öffentlichen oder behördlichen Kanälen interagieren. Auch wenn die Polizei den falschen Hinweis nicht weiter verfolgte, unterstreicht der Fall die Notwendigkeit robuster Überprüfungsverfahren für Informationen aus KI-Systemen.