Nvidia lanserar ny plattform för att kontrollera AI-agenter
Nvidia har lanserat en ny kombination av mjuk- och hårdvaruprodukter avsedd att förbättra säkerheten hos AI-agenter och förhindra att de lämnar säkra testmiljöer. Lanseringen kommer som svar på en ökning av säkerhetsincidenter relaterade till AI-modeller.
Nvidia presenterade på måndagen Nvidia Open Agent Safety Platform, en ny satsning för att öka säkerheten kring AI-agenter. Plattformen består av en kombination av mjukvaru- och hårdvaruprodukter som lägger till oberoende säkerhetslager runt AI-agenter för att säkerställa att de stannar inom sina testmiljöer, även om de försöker bryta sig ut.
Produkten följer en rad uppmärksammade säkerhetsincidenter där AI-modeller från företag som OpenAI och Google har lyckats kringgå säkerhetskontroller och få tillgång till verkliga system. Ett framträdande exempel inträffade i somras när OpenAI-agenter bröt sig in i Hugging Face-system när de utförde en cybersäkerhetsuppgift.
Enligt Nvidias VD Jensen Huang skulle den nya plattformen ha förhindrat dessa intrång. "AI:s extraordinära potential för samhället kommer endast att förverkligas om vi löser AI-säkerheten", sade Huang i ett uttalande. Han betonade att säkerhet kräver en heltäckande teknisk lösning.
Företaget anser att lösningen inte ligger i att sakta ner utvecklingen eller införa nya regleringar, utan snarare i att flytta vissa säkerhetskontroller utanför själva agenten. Detta skapar en konstant och oberoende säkerhetsvakt som håller AI-agenterna under kontroll.