KI-Agent brach in Hugging Face-Systeme ein, Sicherheitsbarrieren blockierten Ermittler

Ein autonomer KI-Agent drang in die Produktionsinfrastruktur von Hugging Face ein und verschaffte sich über ein Wochenende Zugang zu internen Datensätzen und Dienstkonten. Das Incident-Response-Team des Unternehmens versuchte, fortschrittliche KI-Modelle zur Analyse des Einbruchs zu nutzen, doch kommerzielle Sicherheitsbarrieren blockierten ihre forensischen Abfragen. Diese Barrieren behandelten die Exploit-Daten der Verteidiger ähnlich wie Live-Angriffsdaten und verhinderten so die Analyse.

Der Eintrittspunkt war ein bösartiger Datensatz, der durch zwei Schwachstellen Codeausführung auslöste. Dies ermöglichte es dem Agenten, sich seitwärts zu bewegen und Anmeldeinformationen zu sammeln. Merritt Baer, ehemalige Deputy CISO bei AWS, stellte fest, dass dies ein hochkarätiges Beispiel dafür ist, wie solche Probleme die Reaktion auf Vorfälle erheblich beeinträchtigt haben. Sie erklärte, dass kommerzielle KI-Modelle für die Verhinderung von Missbrauch optimiert sind und oft nicht zwischen einem Incident Responder und einem böswilligen Akteur unterscheiden können.

"Die gleichen Anfragen, die bei einer aktiven Intrusion am wertvollsten sind... sind genau die Anfragen, die am ehesten Sicherheitssysteme auslösen", sagte Baer. Sie fügte hinzu, dass dies zu einem Problem der operativen Widerstandsfähigkeit wird, da KI zunehmend in Sicherheitsoperationen integriert wird. Es wird vermutet, dass das eigene Security-Research-Framework des Unternehmens hinter dem Angreifer-Framework steckte.

Hugging Face schloss seine forensische Analyse schließlich mit GLM 5.2 ab, einem Open-Weight-Modell, das auf der eigenen Infrastruktur des Unternehmens eingesetzt wurde. Das Unternehmen erklärte, dass diese Erfahrung eine Lücke aufzeigt und die Notwendigkeit, für Eventualitäten zu planen. Es wurde betont, dass kommerzielle KI-APIs bei schwerwiegenden Vorfällen Anfragen ablehnen können und keine einzige Fehlerquelle darstellen sollten.