Hochzuverlässigeorganisationen als Vorbilder für die KI-Ära
Führungskräfte müssen von Anfang an Vertrauen und Rechenschaftspflicht in KI-Prozesse integrieren. Systemfehler können entstehen, wenn KI-Ergebnisse falsch gehandhabt oder missverstanden werden.
Ein Vorfall auf einer radiologischen Konferenz verdeutlichte einen kritischen Mangel bei der Implementierung von künstlicher Intelligenz (KI): ein Systemfehler, der nicht durch die Technologie selbst, sondern durch die umgebenden menschlichen Prozesse verursacht wurde. Wie Inc. Magazine berichtet, wurde ein KI-Tool zur Priorisierung von Bildgebungsstudien in einem Krankenhaus fälschlicherweise für Ärzte der Notaufnahme sichtbar gemacht. Diese Ärzte begannen, sich auf die vorläufigen Ergebnisse der KI zu verlassen, was zu erheblichen Verzögerungen für andere Patienten führte, da die Ergebnisse der KI noch nicht von einem Radiologen validiert worden waren.
Angela Adams, CEO von Inc. Magazine und frühere Intensivkrankenschwester, betont, dass die KI ihre programmierte Funktion erfüllte. Das Versagen lag im Fehlen klarer Protokolle, die definieren, wer den Ergebnissen der KI vertrauen durfte, wann und mit welcher Aufsicht. Dieses Szenario verdeutlicht, was Adams als das Hauptrisiko der KI-Ära identifiziert: Organisationen übernehmen KI schneller, als sie die notwendigen Strukturen für Vertrauen und Rechenschaftspflicht für ihren sicheren Einsatz etablieren.
Adams zieht Parallelen zu hochzuverlässigen Organisationen (High-Reliability Organizations, HROs), die in Hochrisikobranchen wie der Luftfahrt und der Kernenergie untersucht werden. Diese Organisationen priorisieren die Verhinderung katastrophaler Fehler, indem sie systematisch nach Beinahe-Unfällen suchen und Anomalien als Frühwarnungen behandeln. Dieser Fokus auf Zuverlässigkeit ermöglicht laut Adams paradoxerweise ein schnelleres, entschlosseneres Handeln unter Druck.
Im Gegensatz dazu nähern sich viele Unternehmen der KI, indem sie Sicherheit und Governance als nachträglichen Gedanken behandeln. Der Artikel zitiert die Erfahrungen von Klarna, wo ein KI-Assistent, der anfangs für seine Effizienz gelobt wurde, später wegen eines Rückgangs der Kundenservicequalität kritisiert wurde, was die Wiedereinführung menschlicher Mitarbeiter erforderlich machte. Dies zeigt, dass allein Geschwindigkeit und Kosteneinsparungen nicht den vollen Wert oder die potenziellen Risiken der KI-Implementierung erfassen.
Die Kernbotschaft von Adams ist, dass wahres Vertrauen in die KI-Ergebnisse bei den Einzelpersonen liegt, die darauf handeln müssen. Durch die Übernahme von Prinzipien von HROs – Antizipation von Fehlern, Delegation an die Personen, die der Arbeit am nächsten sind, und Aufbau robuster Aufsicht – können Organisationen KI-bedingte Risiken mindern und eine verantwortungsvolle technologische Weiterentwicklung sicherstellen.