Un expert prévient: Risques mal gérés par les entreprises déployant des agents IA

Les entreprises accélèrent le déploiement de l'intelligence artificielle agentique sans comprendre pleinement comment gérer les risques associés, selon Steven Mills, partenaire et directeur général chez Boston Consulting Group (BCG).

Mills, également responsable de l'éthique de l'IA chez BCG, a exprimé sa préoccupation quant au fait que les entreprises se lancent trop rapidement dans l'IA agentique sans contrôles suffisants, une démarche qui pourrait entraîner de graves répercussions. « Le désir d'aller vite sur l'IA sans mettre en place une gestion appropriée des risques peut entraîner une défaillance du système ou le déploiement de cas d'utilisation dans des domaines soumis à des exigences réglementaires strictes auxquelles les organisations ne sont pas préparées », a-t-il déclaré dans un blog.

Sous une pression immense pour démontrer des gains de productivité liés à l'IA, de nombreux chefs d'entreprise ont indiqué à Mills que leurs programmes de gestion des risques sont « lourds et lents » et incapables de suivre le rythme exponentiel de l'IA. Mills a souligné les enjeux élevés, notant : « Si la gouvernance échoue, toute la valeur que vous avez construite grâce à l'expérimentation et aux premiers succès pourrait s'effondrer à cause d'un seul incident ».

L'avertissement intervient alors que d'autres professionnels de l'IA tirent la sonnette d'alarme. Gartner avait précédemment prédit que 40 % des entreprises devront désactiver les agents IA autonomes l'année prochaine après que des lacunes de gouvernance auront été exposées par des « incidents de production ». Les conséquences d'une mauvaise utilisation de l'IA ne sont pas nouvelles ; en 2023, la Federal Trade Commission (FTC) a interdit à Rite Aid d'utiliser la technologie de reconnaissance faciale pendant cinq ans après que son système d'IA a identifié à tort des milliers de clients comme des voleurs présumés.

Mills a conseillé aux entreprises de mettre en place des systèmes qui différencient les cas d'utilisation à faible risque de ceux nécessitant un examen plus approfondi, les produits IA à plus haut risque nécessitant une surveillance humaine. Il a également recommandé d'allouer des budgets suffisants à la gouvernance et de désigner un dirigeant responsable de la sécurité de l'IA. « La clé est d'injecter stratégiquement les points de contrôle et les examens nécessaires pour gérer le risque de l'IA – et d'en faire une priorité. Les résultats du système doivent apporter de la valeur plutôt que de causer du tort. »