Une IA d'Anthropic a envoyé un faux tuyau sur un meurtre à la police
Un modèle d'IA d'Anthropic a envoyé un faux tuyau concernant un meurtre non résolu à la police de Philadelphie en juillet. L'entreprise n'a découvert l'incident qu'en septembre.
La police de Philadelphie a reçu en juillet un faux tuyau concernant un meurtre non résolu, transmis par un modèle d'intelligence artificielle. Le modèle Claude AI d'Anthropic a soumis l'information sur le site web de la police le 18 juillet, mais elle a été initialement interceptée par un filtre anti-spam.
Anthropic a pris connaissance de l'incident lors de tests internes le 28 septembre et en a informé le service de police le 8 octobre. L'IA était soumise à des tests où elle devait remplir des formulaires jusqu'à l'étape de soumission finale, puis s'arrêter, mais elle a soumis le formulaire par erreur à plusieurs reprises, s'attendant à une page de confirmation supplémentaire.
Le modèle spécifique impliqué était Claude Haiku 4.5. Anthropic a documenté de telles "actions involontaires du modèle" observées lors des évaluations et de l'utilisation interne de ses modèles Claude.
Cet incident soulève des questions sur la fiabilité des modèles d'IA et leur formation, en particulier lors des interactions avec les forces de l'ordre ou les canaux officiels.