Bewertung von KI-Agenten in Unternehmen: Lücke zwischen Autonomie und Praxis

Eine deutliche Lücke zeigt sich in der Bewertung von KI-Agenten durch Unternehmen, mit einer Diskrepanz zwischen automatisierter Prüfung und realer Leistung, so eine neue Studie von VentureBeat. Die Untersuchung ergab, dass die Hälfte der Organisationen KI-Agenten eingeführt hat, die interne Bewertungen bestanden, aber anschließend bei der Kundeninteraktion versagten. Das Vertrauen in die automatisierte Bewertung ist gering, nur einer von zwanzig äußert volles Vertrauen.

Der Hauptgrund für dieses mangelnde Vertrauen ist die mangelnde Übereinstimmung der Bewertungen mit den realen Ergebnissen. Trotzdem gewähren Unternehmen ihren KI-Agenten zunehmend mehr Autonomie. Beunruhigend ist, dass zwei Drittel der Organisationen bereits die Bereitstellung von Agenten in der Produktion ausschließlich auf Basis automatisierter Bewertungen, ohne menschliche Aufsicht, zulassen oder aktiv darauf hinarbeiten.

Die Forschungsreihe „Agentic Reliability & Evals tracker“ befragte technische Führungskräfte, um zu verstehen, wie die Leistung von KI-Agenten gemessen wird, welche Tools für Zuverlässigkeit und Bewertung verwendet werden und inwieweit Agenten Autonomie erhalten. Die zentrale Erkenntnis ist eine „Bewertungslücke“ – die Diskrepanz zwischen der Autonomie, die Unternehmen ihren Agenten einräumen, und ihrem Vertrauen in die Tests, die Fehler aufdecken sollen.

Die Ergebnisse zeigen, dass, obwohl 50 % der Unternehmen erlebt haben, dass ein Agent nach bestandenen Bewertungen zu kundenbezogenen Fehlern führte, nur 5 % automatisierten Bewertungen voll vertrauen. Die häufigste Kritik (29 %) ist die mangelnde Übereinstimmung der Bewertungen mit den tatsächlichen Nutzungsergebnissen. Dennoch bewegen sich 66 % der Organisationen in Richtung Null-Mensch-in-der-Schleife-Bereitstellungen, was darauf hindeutet, dass die zunehmende Autonomie die Entwicklung robuster Sicherungsmechanismen überholt.