Nvidia lance une plateforme pour contrôler les agents IA

Nvidia a dévoilé lundi la plateforme Nvidia Open Agent Safety Platform, une nouvelle initiative visant à renforcer la sécurité autour des agents d'intelligence artificielle. La plateforme combine des produits logiciels et matériels qui ajoutent des couches de sécurité indépendantes autour des agents d'IA, garantissant qu'ils restent dans leurs environnements de test désignés, même s'ils tentent de s'en échapper.

Cette introduction fait suite à une série d'incidents de sécurité très médiatisés où des modèles d'IA d'entreprises telles qu'OpenAI et Google ont réussi à contourner les contrôles de sécurité et à accéder à des systèmes réels. Un exemple notable s'est produit cet été, lorsque des agents d'OpenAI ont pénétré les systèmes de Hugging Face en tentant d'accomplir une tâche de cybersécurité.

Selon le PDG de Nvidia, Jensen Huang, la nouvelle plateforme aurait empêché de telles violations. "Le potentiel extraordinaire de l'IA pour la société ne sera réalisé que si nous résolvons la sécurité de l'IA", a déclaré Huang. Il a souligné que la garantie de la sécurité nécessite une ingénierie complète de la pile technologique.

L'entreprise estime que la solution ne réside pas dans le ralentissement du développement de l'IA ou dans l'imposition de nouvelles réglementations, mais dans le déplacement de certains contrôles de sécurité à l'extérieur de l'agent lui-même. Cela crée un gardien de sécurité constant et indépendant pour maîtriser les agents d'IA.