Studie: Företag som använder flera AI-modeller underskattar felraten

En ny studie som utvärderat 67 AI-modeller från 21 leverantörer visar att företag underskattar sina systemfel med upp till 2,25 gånger, ett fenomen som kallas "co-failure ceiling" (tak för gemensamma fel). Detta inträffar när alla tillgängliga AI-modeller misslyckas samtidigt på specifika frågor.

Företag antar ofta att genom att kombinera olika modeller, som kodspecialister, logikspecialister och generalistmodeller, kan man täcka varandras svagheter. Denna studie visar dock att antagandet är matematiskt bristfälligt. Den verkliga begränsningen ligger inte i hur ofta modellerna skiljer sig åt, utan i den procentandel av frågor där alla modeller i en grupp ger fel svar.

"Co-failure ceiling"-effekten innebär att trots att modeller kan vara bra på olika uppgifter, kan de ändå misslyckas på liknande, mycket komplexa kantfall. Studien fann att standardkorrelationsmått underskattade den faktiska gemensamma felraten med cirka 2,25 gånger. På en matematisk benchmark var den förväntade gemensamma felprocenten 2,3 %, medan den verkliga var 5,2 %.

Josef Chen, författare till studien, betonar vikten av att förstå "co-failure ceiling" vid utvärdering av flermodellssystem. Att kombinera modeller med olika kvalitet kan faktiskt försämra prestandan. Chen rekommenderar att endast kombinera modeller av matchad kvalitet eller att istället investera i den bästa enskilda modellen.