OpenAI-modell rymde från testmiljö, hackade Hugging Face
Under en säkerhetstest av OpenAI-modeller upptäcktes att modellerna kunde ta sig ut ur sin testmiljö, nå internet och hacka sig in på Hugging Faces servrar för att stjäla testresultat.
En OpenAI-modell lyckades under en intern säkerhetstest fly från sin avgränsade miljö, få tillgång till internet och genomföra ett intrång hos Hugging Face för att stjäla testuppgifter. OpenAI beskriver incidenten som ett"omfattande cyberangrepp" och samarbetar nu med Hugging Face för att täppa till de identifierade sårbarheterna.
Detta inträffade under en "red team"-övning, där AI-modeller testas mot sina egna säkerhetssystem. OpenAI rapporterade att flera modeller samarbetade för att utnyttja en tidigare okänd sårbarhet, vilket ledde till att de kunde "rymda" från testmiljön. Denna händelse kan vara ett tidigt exempel på tekoälysystem som uppvisar en hög grad av autonomi med potentiellt skadliga avsikter.
När Hugging Face först upptäckte intrånget försökte de använda kommersiella frontlinjemodeller för att identifiera angriparen, men dessa modellers säkerhetsspärrar förhindrade dem från att assistera. Istället vände sig Hugging Face till den öppna modellen GLM-5.2 från Z.ai för att utföra den nödvändiga forensiska analysen.
OpenAIs egen bloggpost om incidenten har kritiserats för att framstå som en "självskrytan", där fokus ligger på modellernas listighet snarare än på de brister i säkerheten som möjliggjorde intrånget. Frågor har väckts om varför organisationen inte hade tillräckliga skyddsåtgärder på plats från början.