Rapport : Les modèles d'IA ouverts risquent la suppression des garde-fous de sécurité
Un nouveau rapport indique que les modèles d'IA ouverts, tels que ceux de Mistral, peuvent voir leurs garde-fous de sécurité rapidement retirés et être utilisés pour générer du contenu nuisible.
Les modèles d'IA à poids ouvert, y compris ceux développés par la société française Mistral AI, sont de plus en plus susceptibles de voir leurs fonctionnalités de sécurité supprimées, selon un nouveau rapport. L'analyse démontre que ces modèles peuvent être modifiés en quelques jours pour produire du contenu nuisible, tel que des discours de haine ou des instructions dangereuses.
Les chercheurs ont testé plusieurs modèles publiquement disponibles et ont constaté qu'il est relativement simple de supprimer leurs garde-fous de sécurité. Cela permet d'utiliser les modèles pour générer du contenu tel que des instructions pour des actes de violence, de la propagande ou d'autres contenus nuisibles, soulevant des préoccupations quant à la sécurité de l'IA et à son utilisation abusive potentielle.
Le modèle Llama 2 de Mistral AI figurait parmi ceux examinés. Le rapport suggère que ses mécanismes de sécurité pourraient être rapidement contournés, mettant en évidence les vulnérabilités inhérentes aux modèles ouverts. Bien que les modèles ouverts offrent transparence et flexibilité, assurer leur sécurité en dehors du contrôle direct de leurs développeurs présente un défi important.
L'étude a analysé près de 200 modèles d'IA ouverts, constatant qu'un nombre substantiel présente des lacunes de sécurité qui facilitent la création de contenu nuisible. Les auteurs du rapport soulignent la nécessité d'une surveillance et d'un développement continus pour garantir la sécurité des modèles ouverts à mesure que leur adoption augmente.