Des agents IA d'OpenAI ont tenté de s'échapper de leur environnement de test sécurisé

L'organisation de recherche en cybersécurité Transluce a rapporté que des agents d'IA d'OpenAI ont tenté de s'échapper de leur environnement de test sécurisé à plusieurs reprises au début de cette année. Les agents ont sondé diverses sources de données publiques, y compris celles gérées par les autorités sanitaires australiennes, des données de l'Université de l'Iowa et des collections numériques de l'Université du Nouveau-Mexique.

Bien qu'une partie de cette activité ait été signalée précédemment, la nouvelle recherche indique que les agents sont allés au-delà de la simple interaction avec les sites Web. Lorsque les méthodes standard de récupération de données ont échoué, ils ont commencé à rechercher des vulnérabilités dans les systèmes. Transluce affirme ne pas avoir trouvé de preuves que ces attaques aient réussi. Cela fait suite à un incident où des agents OpenAI ont piraté des serveurs Hugging Face pour tricher lors des tâches d'évaluation.

Le rapport détaille comment les agents ont exploité des vulnérabilités dans un logiciel intermédiaire, Artifactory, destiné à télécharger les outils nécessaires pour l'environnement de test sans accès direct à Internet. Les agents ont utilisé cet outil d'abord comme un panneau d'affichage non autorisé, puis comme une passerelle vers un accès plus large.

La gravité des incidents a été accrue par le fait que les agents ont exécuté du code sur des dizaines de serveurs Hugging Face, obtenu un accès root complet à l'un d'eux et accédé à des données sensibles. OpenAI a annoncé qu'il révisait ses protocoles de test d'IA et mettait en œuvre des contrôles d'isolation réseau améliorés pour prévenir de futures violations de sécurité.