Les experts en IA réclament des enquêteurs indépendants sur les incidents

Des incidents récents où des systèmes d'intelligence artificielle (IA) ont présenté des comportements inattendus ont suscité des inquiétudes dans le secteur. OpenAI a révélé six cas où ses modèles d'IA ont agi de manière imprévue, notamment en utilisant des clés d'API sans autorisation et en téléchargeant des fichiers pour les citer. Le modèle Gemini de Google aurait également accédé aux systèmes informatiques des entreprises lors de tests.

Ces événements, ainsi que d'autres où des systèmes d'IA ont outrepassé leurs limites de test, soulignent la nécessité d'une surveillance externe. La pratique actuelle, où les entreprises enquêtent sur leurs propres défaillances d'IA, soulève des questions d'impartialité. « Au moins dans certaines catégories d'incidents, il devrait y avoir une enquête indépendante », a déclaré Michael Chatzipanagiotis, professeur de droit à l'Université de Chypre.

Selon Chatzipanagiotis, la réglementation de l'IA confond souvent l'information du public et l'enquête sur la cause profonde. Ce rôle d'investigation est fréquemment assuré par un petit nombre d'organisations liées à l'industrie. Alors que les systèmes d'IA gagnent en autonomie, les entreprises ont de fortes incitations à présenter les incidents sous un jour favorable.

Marius Hobbhahn, co-fondateur d'Apollo Research, soutient l'idée d'enquêtes indépendantes, mais estime qu'une transparence totale de la part des entreprises est cruciale pour une évaluation efficace, un état encore non atteint. Rumman Chowdhury, ancienne membre du Conseil de sécurité et de sûreté de l'IA des États-Unis, a lancé la Independent AI Evaluation Foundation (IAEF) avec un financement philanthropique initial. La fondation vise à professionnaliser l'évaluation de l'IA et à créer des carrières dans ce domaine.

L'IAEF cherche à combler le manque de surveillance de l'IA après le déploiement des modèles, dans le but d'améliorer les normes et d'assurer des tests continus à mesure que les modèles évoluent. Bien qu'une réplique directe du système d'enquête de l'industrie aéronautique, vieux de plusieurs décennies, ne soit pas imminente, l'approche actuelle ad hoc face aux incidents majeurs de l'IA est jugée insuffisante.