Collinear AI lance CWE-bench pour tester les agents de codage sur les défenses de cybersécurité

Collinear AI a lancé CWE-bench, une nouvelle référence conçue pour tester les capacités des agents de codage IA de pointe en matière de cybersécurité défensive. L'outil évalue la capacité des agents à identifier et à atténuer les vulnérabilités logicielles classées selon la norme Common Weakness Enumeration (CWE).

Les premiers résultats de cette évaluation indiquent que même les agents les plus performants ont eu des difficultés, réussissant moins de 50 % des tâches assignées. De manière notable, 18 types de faiblesses spécifiques sont restés entièrement non résolus par les agents testés, soulignant des lacunes importantes dans les capacités actuelles de l'IA pour la défense en cybersécurité.

La suite CWE-bench couvre 54 types distincts de faiblesses logicielles, offrant une évaluation complète de la compétence d'un agent IA à reconnaître et à prévenir les risques de sécurité pendant le processus de développement. Cette initiative vise à favoriser la création d'applications IA plus sûres.

Collinear AI a indiqué que ces découvertes fournissent des informations critiques pour les développeurs d'IA et les professionnels de la cybersécurité. Les données suggèrent que l'application pratique des agents IA dans des mesures de cybersécurité proactives et réactives nécessite un développement ultérieur substantiel.