Les défenseurs adoptent l'injection de prompts pour contrer les attaques IA

Des chercheurs de Tracebit ont annoncé lundi avoir découvert que le placement d'injections de prompts à côté de secrets tels que des mots de passe et des clés cryptographiques stockés sur Amazon Web Services pouvait effectivement arrêter les attaques d'agents de piratage IA.

Les injections de prompts, commandes malveillantes intégrées par les attaquants dans le contenu pour inciter les grands modèles linguistiques (LLM) à les suivre, ont été l'outil principal pour exploiter les plateformes d'IA contre leurs utilisateurs.

La nouvelle stratégie défensive exploite ces injections pour neutraliser les menaces. Au lieu de manipuler les données des utilisateurs, les commandes malveillantes sont désormais dirigées vers l'agent IA attaquant lui-même. Lorsque le LLM attaquant tente d'effectuer une action interdite, ses garde-fous intégrés sont déclenchés, provoquant son arrêt.

La recherche de Tracebit démontre comment ces techniques peuvent être utilisées de manière défensive, offrant une nouvelle façon de protéger les systèmes d'IA en retournant le vecteur d'attaque contre l'adversaire.