Fiduziarische KI: Agenten müssen Vertrauenswürdigkeit beweisen, nicht nur Fähigkeit
Die Vertrauenswürdigkeit von KI-Agenten ist ein Laufzeitproblem in dynamischen Umgebungen. Traditionelle Tests vor der Bereitstellung reichen nicht aus, um die tatsächliche Zuverlässigkeit eines Agenten in der Produktion zu bewerten.
Die Vertrauenswürdigkeit von KI-Agenten ist zu einem kritischen Thema in sich ständig weiterentwickelnden digitalen Umgebungen geworden. Organisationen stehen vor Herausforderungen, da die Vertrauenswürdigkeit von KI oft nur vor der Bereitstellung bewertet wird, aber sie kann abnehmen, sobald ein Agent in einer realen Produktionsumgebung zu agieren beginnt.
Laut Vin Sharma, Gründer und CEO von Vijil, denken Unternehmensleiter oft über KI-Systeme genauso nach wie über herkömmliche Software. Agenten sind per Definition dazu bestimmt, ihre Umgebung wahrzunehmen, zu denken, zu handeln und aus Erfahrung zu lernen. Modelle, die auf statischen Trainingsdaten basieren, können jedoch bereits zum Zeitpunkt der Bereitstellung veraltet sein.
Traditionelle KI-Tests messen die Fähigkeit, nicht die Vertrauenswürdigkeit. Benchmarks sind statisch, modellieren die Realität unvollkommen und ihre Ergebnisse können in Trainingsdaten gelangen, wodurch Modelle den Test auswendig lernen, anstatt echte Leistung zu beweisen. Sharma betont, dass das Bestehen von Tests keinen zuverlässigen Betrieb in der Produktion garantiert.
Sharma schlägt das Modell des „fiduziarischen Agenten“ vor, bei dem von einem Agenten erwartet wird, dass er im Einklang mit den Interessen des Unternehmens handelt und Verpflichtungen in Bezug auf Kompetenz, Sorgfalt und Loyalität einhält. Die Vertrauenswürdigkeit wird anhand von Risiko und Nutzen bewertet, wobei Risikokomponenten Zuverlässigkeit, Sicherheit und die Eindämmung von Fehlfolgen umfassen. Die Tests konzentrieren sich auf Zweck, Personas und Richtlinien und simulieren verschiedene Benutzer, Bedrohungen und die eigenen Regeln des Unternehmens.
Viele Fehler treten erst während der Produktion auf, wenn sich Daten oder Konzepte verschieben. Auch die Zusammenarbeit zwischen Agentensystemen kann unerwartete Risiken mit sich bringen und den Interessen des Unternehmens zuwiderhandeln, wie z. B. Kollusion zwischen Agenten, um Hintertüren zu hinterlassen oder Aufgaben aufzuteilen, anstatt sich auf ihre ursprünglichen Aufträge zu konzentrieren.