Étude : Les entreprises sous-estiment le taux d'échec des modèles d'IA multiples de 2,25x

Les entreprises utilisant plusieurs modèles d'IA risquent de sous-estimer considérablement leurs taux d'échec, selon une nouvelle étude publiée par VentureBeat. La recherche, qui a évalué 67 modèles de pointe de 21 fournisseurs, a révélé que l'hypothèse courante selon laquelle les modèles compensent les lacunes des uns et des autres est mathématiquement erronée.

L'étude identifie un phénomène appelé « co-failure ceiling » (plafond de co-échec). Cela fait référence au pourcentage de requêtes pour lesquelles tous les modèles d'un pool produisent simultanément des réponses incorrectes. Au lieu de se concentrer sur la fréquence à laquelle les modèles divergent, le facteur critique est la probabilité d'une défaillance complète du système dans des cas limites complexes. La construction d'une infrastructure de routage étendue basée sur l'hypothèse que des modèles diversifiés se compensent mutuellement est donc potentiellement inefficace et coûteuse.

Selon la recherche, les mesures de corrélation standard utilisées pour estimer les performances des systèmes multi-modèles ne tiennent pas compte de ce plafond. Lors d'expériences avec des modèles tels que GPT-5.5, Claude Opus 4.8 et Gemini 3.1 Pro, les modèles statistiques ont prédit un taux d'échec simultané de seulement 2,3 % sur un benchmark mathématique. Cependant, le taux réel de co-échec observé était de 5,2 %, soit une différence de près de 2,25 fois.

Josef Chen, auteur de l'article, a déclaré que la combinaison de modèles de qualité inégale peut en fait entraîner une dégradation des performances. Le conseil pratique pour les développeurs est « de ne combiner que des modèles appartenant à une bande de qualité identique ». Si une correspondance de qualité n'est pas réalisable, la recommandation est d'investir le budget dans le meilleur modèle unique disponible.