AI-lainen murtautui Hugging Facen järjestelmiin, turvamekanismit estivät tutkijoita

Hyökkäävä tekoälyagentti onnistui tunkeutumaan Hugging Facen tuotantojärjestelmiin ja liikkumaan niissä havaitsemattomana koko viikonlopun ajan. Yrityksen omat turvamekanismit, jotka oli suunniteltu estämään hyökkääjiä, estivät samalla myös sen omia tutkijoita analysoimasta tunkeutumista.

Hugging Facen mukaan hyökkääjänä toiminut autonominen tekoäly käytti hyväkseen haitallista datasettiä, joka avasi kaksi koodin suoritusreittiä. Tämän avulla hyökkääjä pääsi käsiksi rajoitettuun määrään sisäisiä datasettejä ja useisiin palvelutunnuksiin. Tunnistettuaan murron, yrityksen valmiusryhmä yritti käyttää tekoälymalleja tilanteen analysointiin, mutta kaupallisten mallien turvaominaisuudet estivät heitä. Turvatoimet tunnistivat tutkijoiden lähettämät analyysipyynnöt ja hyökkäysdatan samankaltaisiksi kuin reaaliaikainen hyökkäys, ja estivät pääsyn.

Merritt Baer, entinen AWS:n varasciiso ja nykyinen vanhempi neuvonantaja, totesi Hugging Facen tapauksen olevan yksi ensimmäisistä korkean profiilin esimerkeistä, jossa vastaava ongelma vaikutti todelliseen turvallisuuspoikkeaman tutkintaan. Hän korosti, että kaupalliset tekoälymallit on optimoitu väärinkäytön estämiseen, mutta niiltä puuttuu usein kyky erottaa, onko pyynnön esittäjä turvallisuustutkija vai itse hyökkääjä.

Hugging Face viimeisteli syväanalyysin avoimen lähdekoodin GLM 5.2 -mallilla, joka toimi yrityksen omassa infrastruktuurissa. Nämä uudet analyysit eivät vaarantaneet ulkopuolisia järjestelmiä. Yritys kuitenkin korosti, että kokemus ei ole argumentti turvatoimia vastaan, vaan osoittaa tarpeen suunnitella turvallisuusarkkitehtuureja, jotka ottavat huomioon kaupallisten tekoälypalveluiden mahdolliset rajoitukset kriisitilanteissa.