Les agents IA ont besoin d'une identité avant une passerelle

L'intelligence artificielle d'entreprise évolue rapidement, passant d'assistants répondant à des questions à des agents autonomes capables de raisonner, d'invoquer des outils et d'exécuter des flux de travail commerciaux complexes avec une surveillance humaine minimale. Ce changement fondamental dans le fonctionnement des logiciels débloque une valeur commerciale significative, mais introduit également de nouveaux risques de sécurité.

Alors que les discussions traditionnelles sur la sécurité se concentrent souvent sur des problèmes tels que l'injection de prompts et les vulnérabilités des modèles, un défi critique émerge après qu'un agent IA a été authentifié et commence à agir de manière autonome. Les contrôles de sécurité actuels offrent une visibilité limitée quant à savoir si ces agents continuent d'opérer en toute sécurité pendant l'exécution. Cela nécessite un nouveau paradigme de sécurité : la confiance d'exécution ("runtime trust").

L'authentification vérifie l'identité d'un agent, mais ne garantit pas sa fiabilité tout au long de son opération. Un agent IA peut être authentifié légitimement avec des informations d'identification et un accès valides, mais ses processus dynamiques de raisonnement et de prise de décision pendant l'exécution peuvent s'écarter de l'intention de l'utilisateur ou de la politique organisationnelle. Cette lacune nécessite une validation continue des actions d'un agent, pas seulement de son identité initiale.

De nouvelles menaces telles que la dérive d'objectif ("goal drift"), l'invocation excessive d'outils ("excessive tool invocation"), l'empoisonnement de la mémoire ("memory poisoning") et la manipulation du contexte ("context manipulation") exploitent la nature autonome de ces agents. Dans les systèmes multi-agents, le mauvais comportement d'un agent peut être amplifié par d'autres, entraînant des défaillances en cascade dans les processus d'entreprise. Le cadre ATLAS du MITRE détaille ces comportements IA adversariaux.

La confiance d'exécution étend la sécurité en validant continuellement le comportement de l'IA pendant l'exécution. Cela implique de s'assurer que les décisions autonomes restent alignées sur les politiques organisationnelles grâce à des capacités telles que la validation d'intention, la surveillance comportementale et l'application des politiques. En validant les actions proposées avant les opérations sensibles et en surveillant l'utilisation des outils, les organisations peuvent s'assurer que les agents IA fonctionnent de manière sécurisée et conforme aux intentions.