Les modèles d'IA sont plus confiants lorsqu'ils ont tort, révèle un outil d'évaluation

Une nouvelle méthode d'évaluation révèle que les outils d'entreprise exploitant de grands modèles linguistiques (LLM) peuvent être considérablement inexacts, même lorsqu'ils présentent des réponses avec une grande confiance. L'examen qualitatif traditionnel, où des experts du domaine vérifient les sorties du modèle, est insuffisant pour détecter ces erreurs subtiles.

Les évaluations qualitatives tendent à n'identifier que les erreurs évidentes, un formatage médiocre ou des réponses hors sujet. Elles ne parviennent pas à détecter les cas où un modèle fournit une explication à l'allure autoritaire qui est factuellement incorrecte, nécessitant une vérification externe pour établir la précision. Cette distinction entre "ça semble correct" et "c'est vérifiablement correct" est cruciale pour les outils influençant les décisions commerciales.

VentureBeat a développé un outil d'évaluation (eval harness) qui mesure la sortie du modèle par rapport à une vérité terrain étiquetée. En créant des jeux de données synthétiques avec des causes connues pour des problèmes tels que la dérive de migration de données, l'outil évalue la précision et le classement. L'outil a révélé que les modèles étaient les plus confiants lorsque leurs réponses étaient erronées, en particulier dans les scénarios complexes avec des signaux superposés - un schéma que l'examen qualitatif manquerait.

Cette approche systématique a identifié des faiblesses spécifiques. Par exemple, si les modèles identifiaient de manière fiable les changements de schéma, ils avaient des difficultés avec les bogues de logique de transformation et étaient les plus susceptibles de fournir des inexactitudes confiantes dans les scénarios à signaux superposés. Ces découvertes soulignent une lacune significative dans les pratiques actuelles d'évaluation des LLM.

L'outil d'évaluation développé offre une voie vers une validation plus robuste des outils d'IA, garantissant une plus grande fiabilité avant le déploiement dans des applications commerciales critiques où la précision est primordiale.