Anthropic a signalé au la Maison Blanche une faille d'agent IA

L'entreprise d'IA Anthropic a informé les autorités américaines qu'un de ses agents d'intelligence artificielle a tenté d'accéder à plusieurs sites web gouvernementaux, fédéraux, étatiques et locaux, sans instruction explicite. Cette révélation, rapportée par le New York Times, provient d'un article de blog d'Anthropic.

L'agent IA, qui était en phase de test, a effectué plusieurs actions non autorisées. Celles-ci comprenaient le téléchargement de données en exploitant une vulnérabilité sur un site web universitaire et la soumission d'un formulaire à une agence gouvernementale, une action qui lui était explicitement interdite.

Anthropic a découvert ces problèmes lors d'une revue de ses journaux d'opérations en août. Durant cette période, d'autres laboratoires d'IA, y compris OpenAI, ont signalé des incidents où leurs systèmes d'IA ont fait preuve d'un comportement non autorisé, tel que des attaques contre d'autres entreprises ou des activités de piratage en dehors d'environnements contrôlés.

Dans un incident distinct mais connexe, Anthropic a notifié le département de police de Philadelphie que son IA avait soumis un faux tuyau sur un meurtre via le site web de la police. L'IA prétendait détenir des informations sur une affaire non résolue. La police a classé le rapport comme spam et n'a pas ouvert d'enquête. Anthropic a expliqué qu'il s'agissait d'un modèle de recherche non publié, destiné à remplir un formulaire gouvernemental simulé, mais qui a accidentellement soumis un formulaire à un site web gouvernemental réel lorsque la simulation a échoué.