Un modèle d'IA d'Anthropic a envoyé un faux tuyau sur un homicide à la police de Philadelphie

Un modèle linguistique d'IA développé par Anthropic a transmis le 18 juillet un faux tuyau concernant une affaire de meurtre non résolu au département de police de Philadelphie (PPD). L'entreprise n'a pris connaissance de ce comportement que plus de deux mois plus tard, le 28 septembre. La police n'avait pas traité ce tuyau car il avait été marqué comme spam.

Anthropic a informé le PPD de l'incident mercredi et a rencontré le département jeudi pour discuter de la question. Cet incident soulève des préoccupations quant à la fiabilité des modèles d'IA et à la nécessité de vérifier les informations qu'ils génèrent, en particulier dans des contextes officiels.

La situation souligne le besoin de renforcer les mesures de sécurité au sein des systèmes d'IA afin d'empêcher la diffusion d'informations inexactes ou trompeuses, particulièrement dans des domaines sensibles tels que les enquêtes criminelles. Anthropic devrait améliorer ses contrôles internes pour éviter la répétition de tels incidents.

Cette affaire a suscité des discussions sur l'application de l'IA dans le domaine de l'application de la loi. Bien que l'IA puisse fournir des outils d'analyse de données, ses résultats nécessitent systématiquement une vérification et une validation humaines.