Évaluation des agents IA en entreprise : un écart entre autonomie et performance réelle

Un écart significatif existe dans la manière dont les entreprises évaluent les agents d'intelligence artificielle, avec une déconnexion entre les tests automatisés et la performance réelle, selon une nouvelle recherche de VentureBeat. L'étude a révélé que la moitié des organisations ont déployé des agents IA qui ont réussi les évaluations internes mais ont ensuite échoué lors des interactions avec les clients. La confiance dans l'évaluation automatisée est faible, un seul sur vingt exprimant une confiance totale.

La raison principale invoquée pour ce manque de confiance est le manque d'alignement des évaluations avec les résultats concrets. Malgré cela, les entreprises accordent de plus en plus d'autonomie à leurs agents IA. De manière préoccupante, les deux tiers des organisations autorisent déjà, ou travaillent activement à permettre, le déploiement d'agents en production basé uniquement sur l'évaluation automatisée, sans supervision humaine.

La recherche "Agentic Reliability & Evals tracker" a interrogé des responsables techniques pour comprendre comment la performance des agents IA est mesurée, quels outils de fiabilité et d'évaluation sont utilisés, et l'étendue de l'autonomie des agents. La conclusion principale est une "lacune d'évaluation" – la disparité entre l'autonomie que les entreprises accordent à leurs agents et leur confiance dans les tests conçus pour détecter les défaillances.

Les résultats révèlent que si 50 % des entreprises ont eu un agent causant des échecs auprès des clients après avoir réussi les évaluations, seulement 5 % font pleinement confiance aux évaluations automatisées. La critique la plus fréquente, à 29 %, est le faible alignement des évaluations avec les résultats d'utilisation réels. Pourtant, 66 % des organisations évoluent vers des déploiements sans intervention humaine, ce qui suggère que l'autonomie croissante dépasse le développement de mécanismes d'assurance robustes.