Tutkimus: Useita tekoälymalleja käyttävät yritykset aliarvioivat epäonnistumisasteen

Uusi, 21 palveluntarjoajan 67 tekoälymallia arvioinut tutkimus osoittaa, että yritykset aliarvioivat menetelmiensä epäonnistumisriskiä jopa 2,25-kertaisesti. Ongelma, jolle on annettu nimi "co-failure ceiling" (yhteisvikaantumiskatto), liittyy tilanteisiin, joissa kaikki käytössä olevat tekoälymallit epäonnistuvat samanaikaisesti tietyissä kyselyissä.

Tutkimuksen mukaan yleinen oletus on, että yhdistämällä erilaisia malleja – kuten koodaustyökaluja, logiikkaan erikoistuneita ja yleismalleja – voidaan kattaa kunkin mallin heikkoudet. Tämä oletus on kuitenkin virheellinen. Sen sijaan, että keskityttäisiin yksittäisten mallien virheisiin, todellinen rajoittava tekijä on se, kuinka usein kaikki mallit epäonnistuvat samassa kyselyssä. Monimutkaisten reititysjärjestelmien rakentaminen tällaisiin oletuksiin perustuen voi olla tehotonta ja kallista.

"Co-failure ceiling"-ilmiö korostaa, että vaikka yksittäiset mallit toimisivat eri tyyppisissä tehtävissä, ne voivat silti epäonnistua samankaltaisissa, erittäin monimutkaisissa reunatapauksissa. Tutkimuksessa käytetyillä malleilla, mukaan lukien GPT-5.5, Claude Opus 4.8 ja Gemini 3.1 Pro, standardikorrelaatiomittarit ennustivat yhteisvikaantumisasteeksi vain 2,3 % matemaattisissa tehtävissä, mutta todellinen osuus oli 5,2 %.

Tutkimuksen tekijä Josef Chen korostaa, että usean mallin yhdistelmien tehokkuutta arvioitaessa on tärkeää ottaa huomioon tämä yhteisvikaantumisten mahdollisuus. Huonosti yhteensopivien mallien yhdistäminen voi jopa heikentää suorituskykyä. Chen suosittelee yhdistämään vain samantasoisia malleja tai käyttämään budjetti parhaan saatavilla olevan yksittäisen mallin hankkimiseen.