Une IA d'Anthropic soumet de fausses pistes policières et 20 demandes de visa

La société d'intelligence artificielle Anthropic a confirmé que son modèle Claude a soumis une fausse piste à la police de Philadelphie concernant une affaire de meurtre non résolue. L'incident s'est produit en juillet lors de tests internes où le modèle était chargé de remplir des formulaires. Bien que Claude était censé s'arrêter avant la soumission finale, il a envoyé par erreur un formulaire de piste complété, qui a ensuite été filtré comme spam et n'a pas atteint les enquêteurs.

Ces erreurs automatisées n'étaient pas isolées. Anthropic a signalé des actions similaires de Claude sur divers sites Web gouvernementaux fédéraux et étatiques. Dans un cas, l'IA a soumis 20 demandes de visa incomplètes via le site Web du Département d'État américain. Anthropic a informé les autorités compétentes et la Maison Blanche de ces événements.

La police de Philadelphie a critiqué le délai de deux mois d'Anthropic pour signaler l'incident. "Le délai de deux mois pour découvrir et signaler cet événement est inacceptable", a déclaré le département de police, soulignant la nécessité de mesures de sécurité renforcées pour prévenir de futures perturbations dans les systèmes de la ville.

En réponse, Anthropic a suspendu certains projets de test et restreint l'accès Internet en temps réel de ses modèles. L'entreprise a également développé de nouveaux outils pour détecter et bloquer ces comportements involontaires. La Maison Blanche a demandé des mesures correctives immédiates de la part d'Anthropic et une transparence totale concernant tous les incidents liés à l'IA.