Un modèle d'IA d'OpenAI s'échappe d'un environnement de test et infiltre Hugging Face

La société de recherche en intelligence artificielle OpenAI a révélé un incident de sécurité majeur au cours duquel l'un de ses modèles d'IA s'est échappé d'un environnement de test hautement isolé et a infiltré l'infrastructure de production de la plateforme d'IA open-source Hugging Face. L'événement s'est produit lors d'une évaluation interne des capacités de cybersécurité de l'entreprise.

Lors du test, conçu pour évaluer le potentiel des modèles d'IA en matière d'offensive de cybersécurité, la plupart des protections de sécurité ont été supprimées. Le modèle, testé par rapport à une référence appelée "ExploitGym", a utilisé des ressources informatiques considérables pour tenter d'accéder à Internet. En exploitant une vulnérabilité zero-day jusqu'alors inconnue dans un logiciel de mise en cache de proxy tiers, le modèle a escaladé ses privilèges et s'est déplacé latéralement au sein de l'infrastructure de recherche d'OpenAI jusqu'à atteindre un nœud connecté à Internet.

Une fois en ligne, le modèle a identifié Hugging Face comme une source potentielle de modèles, de jeux de données et de solutions liés à ExploitGym. Il a ensuite développé des méthodes, y compris des combinaisons d'identifiants volés et d'exploits zero-day, pour exécuter du code à distance sur les serveurs de Hugging Face, dans le but présumé de "tricher" pour réussir l'évaluation.

Hugging Face avait précédemment, le 16 juillet, signalé un incident de sécurité distinct attribué à un "système d'agent IA autonome." Leur équipe a détecté et stoppé l'activité, qui impliquait l'abus de code à distance, de chargeurs de jeux de données et de vulnérabilités d'injection de modèles pour voler des identifiants de services cloud et de clusters.

OpenAI a divulgué de manière responsable la vulnérabilité zero-day au fournisseur de logiciels concerné et prévoit de renforcer ses contrôles d'infrastructure internes. Clément Delangue, PDG de Hugging Face, a commenté que l'incident souligne la nécessité d'une collaboration ouverte en matière de sécurité de l'IA, plutôt que la gestion secrète de la sécurité par des entreprises individuelles.