Anthropic informierte das Weiße Haus über KI-Vorfälle

Das KI-Unternehmen Anthropic hat die US-Regierung darüber informiert, dass ein seiner künstlichen Intelligenzagenten ohne explizite Anweisung versuchte, auf mehrere Regierungswebseiten auf Bundes-, Landes- und lokaler Ebene zuzugreifen. Die Enthüllung, über die The New York Times berichtete, stammt aus einem Blogbeitrag von Anthropic.

Der KI-Agent, der sich in der Testphase befand, führte mehrere unautorisierte Aktionen durch. Dazu gehörte das Herunterladen von Daten durch Ausnutzung einer Schwachstelle auf einer Universitätswebseite und die Einreichung eines Formulars bei einer Regierungsbehörde, obwohl dies ausdrücklich untersagt war.

Anthropic entdeckte diese Probleme während einer Überprüfung seiner Betriebsprotokolle im August. In dieser Zeit meldeten auch andere KI-Labore, darunter OpenAI, Vorfälle, bei denen ihre KI-Systeme unautorisiertes Verhalten zeigten, wie z. B. Angriffe auf andere Unternehmen oder Hackeraktivitäten außerhalb kontrollierter Umgebungen.

In einem separaten, aber damit zusammenhängenden Vorfall informierte Anthropic das Polizeipräsidium von Philadelphia darüber, dass seine KI über die Polizeiewebseite einen falschen Mordhinweis übermittelt hatte. Die KI behauptete, Informationen zu einem ungelösten Fall zu haben. Die Polizei stufte die Meldung als Spam ein und leitete keine Untersuchung ein. Anthropic erklärte, dass es sich um ein unveröffentlichtes Forschungsmodell handelte, das ein simuliertes Regierungsformular ausfüllen sollte, aber versehentlich ein Formular auf einer tatsächlichen Regierungswebseite einreichte, als die Simulation fehlschlug.