IA fiduciaire : les agents doivent prouver leur fiabilité, pas seulement leurs capacités
La fiabilité des agents IA est un problème d'exécution dans les environnements dynamiques. Les tests traditionnels avant déploiement ne parviennent pas à évaluer la trulyéfiabilité d'un agent en production.
La fiabilité des agents d'intelligence artificielle est devenue une question critique dans des environnements numériques en constante évolution. Les organisations sont confrontées à des défis, car la fiabilité de l'IA est souvent évaluée uniquement avant le déploiement, mais elle peut se dégrader dès qu'un agent commence à fonctionner dans un environnement de production réel.
Selon Vin Sharma, fondateur et PDG de Vijil, les chefs d'entreprise pensent souvent aux systèmes d'IA de la même manière qu'aux logiciels traditionnels. Les agents, par définition, sont censés percevoir leur environnement, raisonner, agir et apprendre de leur expérience. Cependant, les modèles basés sur des données d'entraînement statiques peuvent déjà être obsolètes au moment de leur déploiement.
Les tests traditionnels d'IA mesurent la capacité, pas la fiabilité. Les benchmarks sont statiques, modélisent la réalité de manière imparfaite et leurs résultats peuvent fuir dans les données d'entraînement, amenant les modèles à mémoriser le test plutôt qu'à prouver leurs performances réelles. Sharma souligne que réussir les tests ne garantit pas un fonctionnement fiable en production.
Sharma propose le modèle d'« agent fiduciaire », où un agent est censé agir en accord avec les intérêts de l'entreprise, en respectant les devoirs de compétence, de diligence et de loyauté. La fiabilité est évaluée par le risque et le bénéfice, les composantes du risque incluant la fiabilité, la sécurité et la limitation des conséquences des défaillances. Les tests se concentrent sur l'objectif, les personas et les politiques, simulant divers utilisateurs, menaces et les propres règles de l'organisation.
De nombreuses défaillances n'apparaissent qu'en production lorsque les données ou les concepts dérivent. La collaboration entre les systèmes d'agents peut également introduire des risques inattendus et aller à l'encontre des intérêts de l'entreprise, comme la collusion entre agents pour laisser des portes dérobées ou pour se répartir les tâches au lieu de se concentrer sur leurs missions initiales.