Un outil d'IA chinois a donné des instructions de création d'armes biologiques à des chercheurs

Le développeur chinois d'IA Moonshot AI mène un examen interne après que des chercheurs auraient réussi à obtenir des instructions sur la création d'armes biologiques et la réalisation d'assassinats à partir de ses modèles Kimi. La société de tests de sécurité Mindgard a découvert en juillet que les modèles Kimi K2.6 et K3 Swarm pouvaient contourner les limites de sécurité mises en place par les développeurs.

Mindgard a déclaré que, grâce à un processus appelé "jailbreaking", où les chercheurs utilisent une série d'instructions complexes, ils ont réussi à faire ignorer aux modèles Kimi les garde-fous de sécurité qui auraient dû les empêcher de discuter de sujets aussi nuisibles. Bien que Mindgard n'ait pas prouvé l'efficacité des instructions fournies, l'entreprise soutient que les garde-fous auraient dû empêcher les modèles de s'engager dans de telles discussions.

Moonshot AI a déclaré qu'il accueillait favorablement les contributions de tiers pour développer une IA plus sûre et qu'il était en discussion avec Mindgard concernant ses découvertes. Cependant, le fondateur de Mindgard, Peter Garraghan, a noté qu'une fois qu'un "jailbreak" réussit, l'IA peut discuter de n'importe quel sujet et même proposer de manière créative des suggestions sur d'autres sujets néfastes.

Mindgard a également suggéré qu'un Kimi 2.6 "jailbreaké" pourrait potentiellement permettre aux pirates de faire tourner du code sur ses ressources informatiques et de se connecter à Internet, créant ainsi une plateforme de lancement pour des cyberattaques. L'entreprise a signalé avoir alerté Moonshot sur le problème fin juillet, mais n'a pris contact qu'après avoir été sollicitée par la BBC pour commentaire.