Ant Group publie des modèles de sécurité IA open source pour agents et systèmes multimodaux
Ant Group a rendu public SingGuard-NSFA, un modèle de garde-fou pour agents IA autonomes, et a détaillé SingGuard, un modèle de sécurité multimodal. Ces modèles visent à protéger les systèmes d'IA contre divers risques.
La société technologique chinoise Ant Group a publié SingGuard-NSFA, un modèle de garde-fou pour agents IA autonomes, en tant que logiciel open source. L'entreprise a également dévoilé les détails de SingGuard, un modèle de sécurité conçu pour les systèmes IA multimodaux.
SingGuard-NSFA est conçu pour détecter et prévenir des risques tels que l'injection de prompts, le vol de données sensibles, l'exécution de code malveillant, l'abus de ressources et l'utilisation abusive des permissions avant que les agents IA n'agissent.
Le modèle couvre sept catégories de risques majeures, 28 sous-catégories et 185 scénarios dans 133 langues. Son système d'évaluation contient près de 100 000 échantillons. Selon Ant Group, le modèle est disponible en versions de 0,8 milliard, 2 milliards, 4 milliards et 9 milliards de paramètres, et peut effectuer un jugement de risque unique en environ 50 millisecondes.
À mesure que les systèmes d'IA deviennent plus sophistiqués et autonomes, les entreprises technologiques accroissent leur attention sur les mécanismes de sécurité. La publication de ces modèles en open source vise à accélérer le développement à l'échelle de l'industrie et à améliorer la sécurité globale de l'IA.