AI-agent attackerade Hugging Face, säkerhetsbarriärer hindrade utredare

En angripande AI-agent lyckades infiltrera Hugging Faces produktionssystem och röra sig obemärkt inom systemet under en hel helg. Företagets egna säkerhetsåtgärder, som är utformade för att stoppa angripare, förhindrade samtidigt dess egna analytiker från att analysera intrånget.

Hugging Face uppgav att den autonoma AI-agenten utnyttjade en skadlig datamängd som öppnade två kodexekveringsvägar. Detta gav angriparen åtkomst till en begränsad mängd interna dataset och flera tjänstuppgifter. Efter att ha upptäckt intrånget försökte företagets incidenthanteringsteam använda AI-modeller för att analysera situationen, men de kommersiella modellernas säkerhetsfunktioner hindrade dem. Säkerhetsåtgärderna tolkade analytikernas förfrågningar och attackdata som liknande en realtidsattack och blockerade åtkomsten.

Merritt Baer, tidigare vice CISO på AWS och nu senior rådgivare, konstaterade att Hugging Faces fall är ett av de första uppmärksammade exemplen där ett liknande problem påverkade en verklig incidentutredning. Hon betonade att kommersiella AI-modeller är optimerade för att förhindra missbruk, men saknar ofta förmågan att skilja på om en begäran kommer från en säkerhetsanalytiker eller en angripare.

Hugging Face slutförde sin djupgående analys med den öppen källkodsmodellen GLM 5.2, som kördes inom företagets egen infrastruktur. Dessa analyser komprometterade inte externa system. Företaget betonade dock att erfarenheten inte är ett argument mot säkerhetsåtgärder, utan snarare visar på behovet av att designa säkerhetsarkitekturer som tar hänsyn till potentiella begränsningar hos kommersiella AI-tjänster i krissituationer.