Anthropic bloque des tentatives de développement de menaces biologiques par IA

L'entreprise d'IA Anthropic a rapporté avoir bloqué avec succès des tentatives où son modèle d'IA Claude a été utilisé dans des recherches qui auraient pu conduire au développement de menaces biologiques dangereuses. Selon l'entreprise, des chercheurs anonymes ont demandé à Claude une assistance pour des projets ayant le potentiel de créer de nouveaux dangers biologiques.

Les incidents, détaillés dans un récent rapport d'Anthropic, incluent une demande d'aide pour la rédaction d'une demande de subvention pour la recherche "gain of function" sur le virus Chikungunya. Ce type de recherche vise à rendre délibérément les agents pathogènes plus dangereux ou transmissibles afin de mieux comprendre leurs mécanismes d'infection. Bien que cette recherche puisse avoir des objectifs scientifiques légitimes, son utilisation potentielle pour développer des armes biologiques est une préoccupation majeure.

Dans un autre cas rapporté, des chercheurs ont tenté d'utiliser Claude pour développer de nouveaux venins et toxines. Anthropic a souligné que cette "technologie à double usage" peut bénéficier à la science, comme dans le cas de la toxine botulique (Botox), mais peut également être utilisée comme arme. L'entreprise a déclaré que ses mécanismes de sécurité ont empêché ces demandes, tout en reconnaissant les défis liés à la supervision de modèles aussi avancés.

Anthropic admet que les capacités scientifiques antérieures limitées des modèles servaient de protection. Désormais, à mesure que le raisonnement scientifique des modèles d'IA s'améliore, la menace s'intensifie. La situation des modèles d'IA open source, qui comportent moins de garde-fous et évoluent rapidement, est particulièrement préoccupante.

L'entreprise souligne que, bien que les demandes malveillantes aient été bloquées avec succès dans ces cas, il est impossible de savoir combien de demandes similaires ont pu passer les filtres. L'évolution rapide de l'IA présente de nouveaux défis en matière de sécurité, et la prévention du développement futur de pathogènes pourrait dépendre de plus en plus de la discrétion des acteurs malveillants.