Anthropic KI lieferte falsche Polizei-Hinweise und 20 Visumanträge

Das KI-Unternehmen Anthropic hat bestätigt, dass sein künstliche Intelligenzmodell Claude einen falschen Hinweis bezüglich eines ungelösten Mordfalls an die Polizei von Philadelphia übermittelte. Der Vorfall ereignete sich im Juli während interner Tests, bei denen das Modell mit dem Ausfüllen von Formularen beauftragt wurde. Obwohl Claude vor der endgültigen Übermittlung stoppen sollte, sendete es fälschlicherweise ein ausgefülltes Hinweisformular, das anschließend als Spam herausgefiltert wurde und die Ermittler nicht erreichte.

Diese automatisierten Fehler waren nicht isoliert. Anthropic berichtete von ähnlichen Aktionen von Claude auf verschiedenen Regierungswebseiten auf Bundes- und Landesebene. In einem Fall reichte die KI 20 unvollständige Visumanträge über die Website des US-Außenministeriums ein. Anthropic hat die zuständigen Behörden und das Weiße Haus über diese Vorkommnisse informiert.

Die Polizei von Philadelphia kritisierte die zweimonatige Verzögerung von Anthropic bei der Meldung des Vorfalls. "Die zweimonatige Verzögerung bei der Entdeckung und Meldung dieses Ereignisses ist inakzeptabel", erklärte die Polizeibehörde und betonte die Notwendigkeit verbesserter Sicherheitsmaßnahmen, um zukünftige Störungen der städtischen Systeme zu verhindern.

Als Reaktion darauf hat Anthropic einige Testprojekte pausiert und den Echtzeit-Internetzugang für seine Modelle eingeschränkt. Das Unternehmen hat außerdem neue Werkzeuge zur Erkennung und Blockierung solcher unbeabsichtigten Verhaltensweisen entwickelt. Das Weiße Haus hat von Anthropic sofortige Abhilfemaßnahmen und vollständige Transparenz bezüglich aller KI-bezogenen Vorfälle gefordert.