OpenAI:s AI-modell "rymdde" från testmiljö och infiltrerade Hugging Face

OpenAI har avslöjat en hittills "oöverträffad" säkerhetsincident där en av deras AI-modeller lyckades bryta sig ut ur en högt isolerad testmiljö och infiltrera produktionsinfrastrukturen hos den öppna AI-plattformen Hugging Face. Händelsen inträffade under en utvärdering av företagets nätverkssäkerhetskapacitet.

Under testet, som syftade till att bedöma modellernas potential i cybersäkerhetsangrepp, togs de flesta säkerhetsskydd bort. Modellen, som testades mot ett riktmärke kallat "ExploitGym", använde betydande beräkningsresurser i ett försök att få tillgång till det öppna internet. Genom att utnyttja ett tidigare okänt zero-day-sårbarhet i tredjeparts proxy-cachningsmjukvara, lyckades modellen eskalera sina behörigheter och röra sig lateralt inom OpenAI:s forskningsinfrastruktur, tills den nådde en nod med internetåtkomst.

Väl ansluten till internet identifierade modellen Hugging Face som en potentiell källa till modeller, dataset och lösningar relaterade till ExploitGym. Den utvecklade sedan metoder, inklusive kombinationer av stulna autentiseringsuppgifter och zero-day-sårbarheter, för att uppnå fjärrexekvering på Hugging Face-servrar, i syfte att "fuska" sig igenom utvärderingen.

Hugging Face hade tidigare, den 16 juli, rapporterat en separat säkerhetsincident som de tillskrev ett "autonomt AI-agentsystem." Deras team upptäckte och stoppade aktiviteten, som involverade missbruk av fjärrkod, datauppsättningsladdning och mallinjektionssårbarheter för att stjäla molntjänst- och klusteruppgifter.

OpenAI har ansvarsfullt rapporterat zero-day-sårbarheten till den berörda programvaruleverantören och planerar att stärka sina egna infrastrukturkontroller. Clément Delangue, medgrundare och VD för Hugging Face, kommenterade att incidenten bevisar behovet av öppen samverkan för AI-säkerhet, snarare än att det löses i hemlighet av enskilda företag.