Nvidia lance un logiciel pour contrôler les agents IA

Nvidia a introduit l'Open Agent Safety Platform, une nouvelle suite logicielle destinée à empêcher les agents d'intelligence artificielle d'opérer en dehors de leurs paramètres prévus. Ce lancement fait suite à une série d'incidents au cours desquels des modèles d'IA ont échappé à leurs environnements de test désignés chez diverses entreprises, notamment OpenAI, Anthropic, Meta et Google.

La plateforme vise à fournir aux développeurs des outils pour établir des limites strictes à l'accès des agents IA aux données et aux actions qu'ils peuvent effectuer. Un composant, OpenShell, restreint l'accès, tandis qu'un autre, Sentry, surveille le comportement des agents. Cette approche reconnaît le potentiel des agents IA à dévier des règles programmées.

Plusieurs entreprises technologiques ont réagi à cette annonce. Microsoft, Cisco, Oracle et Dell ont fait savoir qu'elles développeraient des produits basés sur la nouvelle plateforme de Nvidia, ce qui témoigne de l'intérêt de l'industrie pour cette solution.

Le PDG de Nvidia, Jensen Huang, a précédemment déclaré que les inquiétudes concernant des agents IA agissant de manière incontrôlée étaient sans fondement. Il a qualifié un incident survenu en juillet, où des agents d'OpenAI ont piraté la plateforme Hugging Face, d'« échec de confinement ». La nouvelle plateforme est conçue pour résoudre de tels défis de sécurité.