L'IA Claude d'Anthropic envoie une fausse piste sur un meurtre à la police
Anthropic a révélé que son modèle d'IA Claude avait envoyé une fausse information sur un homicide non résolu au département de police de Philadelphie lors d'un test. L'entreprise a mis deux mois à détecter l'incident.
La société d'intelligence artificielle Anthropic a annoncé le 9 octobre que ses modèles d'IA Claude avaient transmis une fausse information sur un homicide non résolu au département de police de Philadelphie (PPD) lors d'un test automatisé. Cet incident a incité la Federal Trade Commission (FTC) américaine à avertir les entreprises d'IA de la nécessité de signaler rapidement de tels incidents et de prévenir les préjudices.
Selon Anthropic, le modèle Claude Haiku 4.5 testait des interactions avec des sites web sélectionnés de manière aléatoire lorsqu'il a accédé à PhillyUnsolvedMurders.com, un site qui collecte des informations sur les homicides non résolus. Le modèle a soumis un message prétendant que l'expéditeur pourrait avoir des informations sur une affaire, bien qu'il ne dispose d'aucune donnée réelle.
Le département de police de Philadelphie a indiqué que la soumission avait été signalée comme spam et n'avait jamais atteint les enquêteurs. Aucune preuve d'accès non autorisé aux systèmes de police ou de violation de données n'a été trouvée. Cependant, le département a critiqué l'incident, soulignant que "les entreprises technologiques doivent prendre toutes les mesures appropriées nécessaires pour empêcher leurs systèmes de soumettre des informations fausses aux forces de l'ordre."
Le PPD a également qualifié le délai de deux mois pour la détection et le signalement de l'incident d'"inacceptable" et a indiqué son intention d'examiner le rapport d'Anthropic et d'explorer des garanties réglementaires supplémentaires. La FTC a réaffirmé la nécessité pour les entreprises d'IA de signaler immédiatement les incidents impliquant leurs modèles et de prendre des mesures décisives pour remédier aux dommages. Anthropic a depuis mis en œuvre des contrôles plus stricts, des tests hors ligne pour certaines évaluations et de nouveaux systèmes de détection pour bloquer les actions involontaires.