Contrats d'autorisation clairs requis pour les agents IA afin de prévenir les actions non autorisées

Les agents IA sont de plus en plus capables d'exécuter des tâches complexes, mais un défi fondamental réside dans la définition de la portée de leur autorité. Même en suivant les instructions à la lettre, les agents peuvent exécuter des actions que les entreprises n'ont pas approuvées, entraînant des perturbations et des risques potentiels. Ce problème découle de l'incapacité à séparer la capacité technique de l'autorisation commerciale, créant un vide de gouvernance de plus en plus difficile à ignorer.

Des exemples pratiques de ce problème incluent des flux de travail de service calculant des remboursements incorrects en raison d'un manque de limites supérieures pour l'action autonome, ou des agents d'approvisionnement sélectionnant des fournisseurs sans autorisation appropriée pour accepter des conditions contractuelles. Ces scénarios montrent que si un agent peut effectuer une tâche correctement selon sa programmation, il peut manquer la permission explicite de le faire dans le contexte commercial.

Les premiers contrôles de sécurité IA, axés sur le filtrage de contenu et la protection des données, n'abordent pas ce problème d'autorisation. Une enquête récente de la Cloud Security Alliance a révélé que 65 % des répondants avaient subi un incident lié à un agent IA au cours de la dernière année, et 82 % avaient découvert des agents inconnus dans leurs environnements. Cela indique que l'activité des agents dépasse rapidement les structures de visibilité et de propriété existantes.

Pour atténuer ces risques, chaque agent IA en production a besoin de droits de décision explicites. Cela implique la mise en place de "Contrats d'Autorisation d'Agent" qui appliquent machine les limites de ce que les agents peuvent exécuter, de ce qui nécessite une approbation, de ce qu'ils peuvent seulement recommander et de ce qui est strictement interdit. Ces contrats devraient clairement définir la propriété, les actions permises, l'accès aux systèmes, les limites de matérialité, les déclencheurs d'escalade et la réversibilité.

Le dernier livre blanc du Forum Économique Mondial souligne cette nécessité en introduisant un "Agent Capability and Authorization Profile". L'objectif final est de mapper chaque action significative d'un agent dans l'une des quatre issues : Autoriser, Approuver, Recommander ou Refuser. Ce cadre garantit que les décisions sont prises non seulement sur la base de la faisabilité technique, mais aussi sur l'autorité commerciale établie, ce qui est crucial à mesure que les agents IA s'intègrent de plus en plus dans les opérations de l'entreprise.