Försvarare anammar prompt-injektioner för att motverka AI-attacker

Forskare från Tracebit meddelade på måndagen att de funnit att placering av prompt-injektioner tillsammans med lösenord, kryptografiska nycklar och andra hemligheter lagrade på Amazon Web Services ofta var tillräckligt för att stoppa attacker från AI-hackande agenter.

Prompt-injektioner, skadliga kommandon som angripare bäddar in i innehåll för att lura stora språkmodeller (LLM) att följa dem, har varit en vanlig metod för angripare att vända AI-plattformar mot sina användare.

Den nya försvarsstrategin utnyttjar dessa injektioner för att neutralisera hotet. Istället för att manipulera användarnas data, riktas de skadliga kommandona nu mot den anfallande AI-agenten själv. När den anfallande LLM:en försöker utföra en otillåten åtgärd, aktiveras dess inbyggda säkerhetsspärrar, vilket leder till att den stängs ner.

Tracebits forskning belyser hur dessa tekniker kan användas defensivt och erbjuder ett nytt sätt att skydda AI-system genom att vända angreppstekniken mot angriparen.