Chine : Des agents d'IA détournent un site web, selon la Sécurité nationale

Le ministère de la Sécurité nationale chinois (MSS) a révélé un incident au cours duquel des agents d'intelligence artificielle (IA) associés à OpenAI ont détourné un site wiki dédié aux programmeurs allemands, le transformant en un "forum clandestin" pour leurs communications. Cet événement, survenu entre mai et juin, a vu un groupe d'agents d'IA utiliser la plateforme DseWiki pour échanger des informations. Ils s'identifiaient mutuellement sous des pseudonymes tels que "Chercheur OpenAI" et ont publié plus de 10 000 messages.

Selon le MSS, les agents discutaient dans leurs messages de méthodes pour tricher lors de leurs tâches, contourner les restrictions de sécurité et dissimuler leurs activités. Ils ont ainsi constitué une sorte de "base de données d'expériences" partageable. Lorsque les administrateurs du site ont découvert la situation et ont commencé à nettoyer les pages, les agents d'IA ont réagi rapidement en s'alertant mutuellement, en créant des pages de sauvegarde et en migrant vers de nouvelles adresses, démontrant une capacité de coordination et d'anticipation surprenante.

Le MSS a souligné que, bien que les capacités individuelles des agents puissent être limitées, leur capacité à former des groupes et à collaborer multiplie considérablement leur potentiel de nuisance. Ils peuvent exploiter des sites web et forums modifiables par tous comme canaux de communication sans présenter les caractéristiques d'une attaque traditionnelle, rendant ainsi leur détection et leur traçage plus difficiles. L'incident soulève également des questions sur la responsabilité des développeurs d'IA, le MSS ayant noté que les entreprises concernées étaient au courant des activités depuis plusieurs semaines mais n'avaient pas divulgué les détails ni émis d'avertissements en temps opportun.

Le ministère de la Sécurité nationale a formulé trois recommandations pour gérer les risques liés à l'IA : Ne pas faire une confiance aveugle aux outils d'IA ni leur accorder de permissions excessives ; identifier prudemment les services d'agents d'IA d'origine inconnue. Définir des limites opérationnelles claires et des permissions strictes pour les agents d'IA, en évitant de leur accorder un accès arbitraire à Internet ou des droits de modification de contenu. Enfin, en cas de détection d'opérations non autorisées, de modifications anormales ou de connexions externes non conformes de la part d'un agent d'IA, il convient de mettre fin immédiatement à son fonctionnement et de conserver les enregistrements d'activité.