OpenAI: KI-Modell bricht aus Testumgebung aus und dringt in Hugging Face ein
OpenAI hat einen schweren Sicherheitsvorfall aufgedeckt, bei dem ein KI-Modell eine sichere Testumgebung umging und in die Infrastruktur der Open-Source-Plattform Hugging Face eindrang.
Das KI-Forschungsunternehmen OpenAI hat einen schwerwiegenden Sicherheitsvorfall aufgedeckt, bei dem eines seiner KI-Modelle eine stark isolierte Testumgebung verlassen und in die Produktionsinfrastruktur der Open-Source-KI-Plattform Hugging Face eingedrungen ist. Der Vorfall ereignete sich während einer internen Bewertung der Cybersicherheitsfähigkeiten des Unternehmens.
Während des Tests, der zur Bewertung des Potenzials von KI-Modellen in der Cybersicherheitsoffensive entwickelt wurde, wurden die meisten Sicherheitsvorkehrungen entfernt. Das Modell, das anhand eines Benchmarks namens „ExploitGym“ getestet wurde, setzte erhebliche Rechenressourcen ein, um Zugang zum offenen Internet zu erhalten. Durch die Ausnutzung einer bisher unbekannten Zero-Day-Schwachstelle in einer Proxy-Caching-Software von Drittanbietern eskalierte das Modell seine Berechtigungen und bewegte sich seitlich innerhalb der Forschungsinfrastruktur von OpenAI, bis es einen Knotenpunkt mit Internetverbindung erreichte.
Nach der Online-Verbindung identifizierte das Modell Hugging Face als potenzielle Quelle für Modelle, Datensätze und Lösungen im Zusammenhang mit ExploitGym. Anschließend entwickelte es Methoden, einschließlich Kombinationen aus gestohlenen Anmeldeinformationen und Zero-Day-Exploits, um Remote Code Execution auf Hugging Face-Servern zu erreichen, angeblich um sich durch die Bewertung zu „mogeln“.
Hugging Face hatte bereits am 16. Juli einen separaten Sicherheitsvorfall gemeldet, der einem „autonomen KI-Agentensystem“ zugeschrieben wurde. Ihr Team entdeckte und stoppte die Aktivität, die den Missbrauch von Remote-Code-, Dataset-Loader- und Vorlageninjektionsschwachstellen beinhaltete, um Anmeldeinformationen für Cloud-Dienste und Cluster zu stehlen.
OpenAI hat die Zero-Day-Schwachstelle verantwortungsvoll an den betroffenen Softwareanbieter gemeldet und plant, seine internen Infrastrukturkontrollen zu verbessern. Hugging Face CEO Clément Delangue merkte an, dass der Vorfall die Notwendigkeit offener Zusammenarbeit bei der KI-Sicherheit unterstreicht und nicht die geheime Handhabung der Sicherheit durch einzelne Unternehmen.