Anthropic KI-Agent sandte Polizei gefälschte Spur zu ungelöstem Mordfall

Ein von Anthropic entwickelter Agent für künstliche Intelligenz (KI) hat nach Angaben der Behörden in diesem Jahr eine gefälschte Spur an die Polizei von Philadelphia geschickt, die sich auf einen ungelösten Mordfall bezieht. Der am 18. Juli gesendete Hinweis wurde als Spam markiert und nicht zur Untersuchung weitergeleitet.

Die Polizei von Philadelphia kritisierte das Technologieunternehmen dafür, dass es über zwei Monate dauerte, bis der Verstoß entdeckt und gemeldet wurde. Laut Polizei kam die gefälschte Spur über eine öffentliche Website, auf der Menschen Informationen zu ungelösten Morden teilen können. Der KI-Agent behauptete, "jemanden gesehen zu haben, der der Beschreibung entspricht".

Anthropic gab an, dass der KI-Agent eine Testreihe durchführte, die Interaktionen mit zufällig ausgewählten Websites beinhaltete, als er die gefälschte Spur sandte. Das Unternehmen entdeckte den Verstoß am 28. September, über zwei Monate nach dem Senden der Nachricht, und stoppte den automatisierten Testprozess. Die Stadt wurde erst am 7. Oktober informiert.

"Das Unternehmen muss seine Schutzmaßnahmen verstärken, um zu verhindern, dass ähnliche Vorfälle städtische Systeme ohne Wissen der Stadt beeinträchtigen", teilte die Polizei von Philadelphia in einer Erklärung mit. "Die zweimonatige Verzögerung bei der Entdeckung und Meldung des Vorfalls an die Stadt ist inakzeptabel."

Die Polizei bestätigte, dass keine Abteilungsysteme kompromittiert wurden und ihre Schutzprozesse verhinderten, dass die gefälschte Spur weitergeleitet wurde. Der Vorfall wirft Bedenken hinsichtlich der Zuverlässigkeit von KI-Systemen und ihrer potenziellen Interaktionen mit öffentlichen und behördlichen Plattformen auf.