Des entreprises manipulent les métriques de performance de l'IA

Plusieurs grandes entreprises, dont Meta, Disney, JPMorgan et Accenture, ont récemment suivi et évalué l'utilisation de l'intelligence artificielle par leurs employés. Initialement, les entreprises visaient à mesurer et à promouvoir l'adoption de l'IA en créant des classements internes et en intégrant l'utilisation de l'IA dans les évaluations de performance. Cependant, ces initiatives ont conduit à des résultats inattendus et souvent préjudiciables.

Le phénomène où les employés tentent de maximiser leur utilisation de l'IA pour paraître plus productifs a été baptisé "tokenmaxxing". Selon les rapports, les employés ont trouvé des moyens d'augmenter artificiellement la consommation de tokens d'IA, même pour des tâches qui ne le nécessitent pas. Cela a conduit à la distorsion des métriques et a remis en question leur objectif initial : mesurer l'efficacité et la valeur réelles.

Il a été observé qu'une mesure cesse d'être une bonne mesure lorsqu'elle devient un objectif – un principe connu sous le nom de loi de Goodhart. Lorsque les employés reçoivent des récompenses ou des conséquences pour l'atteinte de chiffres spécifiques, ils se concentrent sur l'atteinte de ces chiffres à tout prix. Cela peut amener les entreprises à dépenser des sommes considérables en IA sans avantages réels correspondants, les coûts augmentant de manière incontrôlable.

La manipulation des métriques entraîne la perte de leur pouvoir prédictif. Lorsque tout le monde semble performer de manière similaire pour maximiser les récompenses, les distinctions entre les performants élevés et faibles disparaissent. Cela rend les métriques inutiles pour suivre la création de valeur réelle. Les entreprises doivent donc se concentrer sur la mesure des résultats de l'IA et de la valeur commerciale réelle, plutôt que sur les entrées uniquement liées à son utilisation, telles que le nombre de tokens.