Puolustajat hyödyntävät promptien injektointia AI-hyökkäysten torjunnassa

Tracebitin tutkijat ilmoittivat maanantaina havainneensa, että promptien injektointien yhdistäminen salasanöihin ja muihin AWS:ään tallennettuihin arkaluontoisiin tietoihin voi pysäyttää hyökkäykset.

Hyökkääjät ovat käyttäneet promptien injektointeja manipuloidakseen suuria kielimalleja (LLM) ja saadakseen ne suorittamaan haitallisia toimintoja, kuten arkaluontoisen datan vuotamista.

Uusi puolustusmenetelmä perustuu siihen, että pahantahtoiset komennot suunnataan itse hyökkäävää tekoälyagenttia vastaan. Kun hyökkäävä LLM yrittää suorittaa kiellettyä toimintoa, kuten pääsyä suojattuihin tietoihin, sen turvamekanismit aktivoituvat ja estävät sen toiminnan.

Tracebitin tutkimus osoittaa, että promptien injektointien strateginen käyttö voi kääntää hyökkäystyökalun puolustukseksi, tarjoten uudenlaisen tavan suojata tekoälyjärjestelmiä.