Studie: Unternehmen unterschätzen Ausfallraten von Multi-KI-Modellen um das 2,25-fache

Unternehmen, die mehrere KI-Modelle einsetzen, riskieren, deren Ausfallraten erheblich zu unterschätzen, so eine neue Studie von VentureBeat. Die Forschung, die 67 Spitzenmodelle von 21 Anbietern untersuchte, ergab, dass die gängige Annahme, dass Modelle die Schwächen anderer ausgleichen, mathematisch fehlerhaft ist.

Die Studie identifiziert ein Phänomen namens "Co-Failure Ceiling" (Decke für gemeinsames Scheitern). Dies bezieht sich auf den Prozentsatz der Anfragen, bei denen alle Modelle in einem Pool gleichzeitig falsche Antworten liefern. Anstatt sich darauf zu konzentrieren, wie oft Modelle uneins sind, ist der entscheidende Faktor die Wahrscheinlichkeit eines vollständigen Systemversagens bei komplexen Grenzfallproblemen. Der Aufbau umfangreicher Routing-Infrastrukturen, basierend auf der Annahme, dass verschiedene Modelle sich gegenseitig kompensieren, ist daher potenziell ineffizient und kostspielig.

Laut der Forschung berücksichtigen Standard-Korrelationsmetriken zur Schätzung der Leistung von Multi-Modell-Systemen diese Decke nicht. In Experimenten mit Modellen wie GPT-5.5, Claude Opus 4.8 und Gemini 3.1 Pro prognostizierten statistische Modelle eine gleichzeitige Ausfallrate von nur 2,3 % bei einem Mathematik-Benchmark. Die tatsächlich beobachtete gemeinsame Ausfallrate lag jedoch bei 5,2 %, was einem Unterschied von fast dem 2,25-fachen entspricht.

Josef Chen, Autor der Studie, erklärt, dass die Kombination von Modellen unterschiedlicher Qualität tatsächlich zu schlechteren Ergebnissen führen kann. Der praktische Rat für Entwickler lautet: "Kombinieren Sie nur Modelle innerhalb eines abgestimmten Qualitätsbands." Wenn eine Qualitätsabstimmung nicht möglich ist, empfiehlt sich die Investition des Budgets in das beste einzelne verfügbare Modell.