Experte warnt: Unternehmen ignorieren Risiken bei KI-Agenten-Einsatz

Unternehmen setzen zunehmend KI-Agenten ein, ohne die damit verbundenen Risiken angemessen zu managen, warnt Steven Mills, Partner und Geschäftsführer bei Boston Consulting Group (BCG).

Mills, der auch als Chief AI Ethics Officer bei BCG tätig ist, äußerte seine Besorgnis darüber, dass Unternehmen zu schnell in die Nutzung von KI-Agenten einsteigen, ohne ausreichende Kontrollen zu implementieren. Dies könnte zu schwerwiegenden Konsequenzen führen. „Der Wunsch, bei KI schnell voranzukommen, ohne ein angemessenes Risikomanagement zu implementieren, kann zu Systemausfällen oder zum Einsatz von Anwendungsfällen in Bereichen mit strengen regulatorischen Anforderungen führen, auf die Organisationen nicht vorbereitet sind“, schrieb er in einem Blogbeitrag.

Unter dem enormen Druck, KI-gestützte Produktivitätssteigerungen nachzuweisen, haben viele Führungskräfte Mills zufolge ihre Risikomanagementprogramme als „umständlich und langsam“ beschrieben, unfähig, mit dem exponentiellen Wachstum von KI Schritt zu halten. Mills betonte die hohen Einsätze: „Wenn die Governance fehlschlägt, kann jeder Wert, den Sie durch Experimente und frühe Erfolge aufgebaut haben, durch einen einzigen Vorfall zunichtegemacht werden."

Die Warnung erfolgt zu einer Zeit, in der auch andere KI-Experten ähnliche Bedenken äußern. Gartner prognostizierte bereits, dass 40 % der Unternehmen im nächsten Jahr autonome KI-Agenten deaktivieren müssen, nachdem Governance-Lücken durch „Produktionsvorfälle“ aufgedeckt wurden. Die Folgen von KI-Missbrauch sind nicht neu: Im Jahr 2023 verbot die US-Handelskommission (FTC) Rite Aid für fünf Jahre die Nutzung von Gesichtserkennungstechnologie, nachdem deren KI-System Tausende von Kunden fälschlicherweise als mutmaßliche Diebe identifiziert hatte.

Mills empfahl Unternehmen, Systeme zu entwickeln, die zwischen risikoarmen Anwendungsfällen und solchen unterscheiden, die eine tiefere Prüfung erfordern, wobei KI-Produkte mit höherem Risiko menschliche Aufsicht benötigen. Er riet auch dazu, ausreichende Budgets für die Governance bereitzustellen und eine Führungskraft für die KI-Sicherheit verantwortlich zu machen. „Der Schlüssel liegt darin, strategisch die notwendigen Kontroll- und Prüfpunkte einzuführen, um KI-Risiken zu managen – und dies zur Priorität zu machen. Die Ergebnisse des Systems sollten Wert liefern und keinen Schaden anrichten.“