Les organisations à haute fiabilité éclairent l'ère de l'IA

Un incident survenu lors d'une conférence de radiologie a mis en lumière une faille critique dans la mise en œuvre de l'intelligence artificielle (IA) : une défaillance du système non pas de la technologie elle-même, mais des processus humains qui l'entouraient. Comme le rapporte Inc. Magazine, un outil d'IA conçu pour trier les études d'imagerie dans un hôpital a été rendu visible par erreur aux médecins des urgences. Ces médecins ont commencé à se fier à la lecture préliminaire de l'IA, entraînant des retards importants pour d'autres patients, car les résultats de l'outil n'avaient pas encore été validés par un radiologue.

Angela Adams, PDG d'Inc. Magazine et ancienne infirmière de soins intensifs, souligne que l'IA a rempli sa fonction programmée. L'échec résidait dans l'absence de protocoles clairs définissant qui pouvait faire confiance aux résultats de l'IA, quand et avec quelle supervision. Ce scénario illustre ce qu'Adams identifie comme le risque principal de l'ère de l'IA : les organisations adoptent l'IA plus rapidement qu'elles n'établissent les structures de confiance et de responsabilité nécessaires à son utilisation sécurisée.

Adams établit des parallèles avec les organisations à haute fiabilité (High-Reliability Organizations, HRO) étudiées dans des secteurs à haut risque comme l'aviation et l'énergie nucléaire. Ces organisations privilégient la prévention des défaillances catastrophiques en recherchant rigoureusement les quasi-accidents et en traitant les anomalies comme des signaux d'alerte précoces. Cette concentration sur la fiabilité, soutient Adams, permet paradoxalement une action plus rapide et plus décisive sous pression.

En revanche, de nombreuses entreprises abordent l'IA en traitant la sécurité et la gouvernance comme une réflexion après coup. L'article cite l'expérience de Klarna, où un assistant IA initialement salué pour son efficacité a ensuite été critiqué pour une baisse de la qualité du service client, nécessitant la réintroduction du personnel humain. Cela montre que la rapidité et les économies de coûts seules ne capturent pas la valeur totale ni les risques potentiels du déploiement de l'IA.

Le message principal d'Adams est que la véritable confiance dans les résultats de l'IA réside chez les individus qui doivent agir en conséquence. En adoptant les principes des HRO – anticiper les défaillances, s'en remettre à ceux qui sont les plus proches du travail et établir une supervision robuste – les organisations peuvent atténuer les risques liés à l'IA et assurer une avancée technologique responsable.