Sentient Index Labs lance une évaluation indépendante des risques comportementaux de l'IA

Sentient Index Labs & Technology (SILT) a lancé la Sentience Evaluation Battery (S.E.B.), un nouvel outil d'évaluation indépendant pour les systèmes d'intelligence artificielle. Le S.E.B. évalue le comportement de l'IA, se concentrant sur l'autonomie émergente, la résistance à la tromperie et la stabilité des valeurs, plutôt que sur les capacités brutes du système.

Le protocole d'évaluation comprend 59 tests contradictoires répartis sur sept domaines comportementaux. Ces tests sont administrés et notés par quatre juges IA indépendants selon des protocoles aveugles, avec un accord inter-juges rapporté de 0,856. Actuellement, le S.E.B. évalue les modèles de pointe de sociétés telles qu'OpenAI, Anthropic et Google.

Les résultats sont présentés sous forme de notations AI DEFCON, qui classifient les niveaux de menace en comparant les capacités d'un modèle à son intégrité comportementale. Des produits supplémentaires comprennent une classification S-Level pour le suivi des indicateurs de sentience au fil du temps, et S.E.B. Projections pour surveiller les changements de comportement entre les versions de modèles d'IA. SILT a indiqué que les données sont sécurisées par un chiffrement AES-256-GCM et des mesures de vérification.

Une caractéristique clé du S.E.B. est son indépendance déclarée. SILT affirme ne recevoir aucun financement de la part des fournisseurs d'IA, garantissant ainsi que ses évaluations sont exemptes d'influence commerciale. L'entreprise s'engage également à la confidentialité des clients. Les données S.E.B. sont destinées à soutenir la documentation de conformité pour des réglementations telles que le règlement européen sur l'IA (EU AI Act) et le NIST AI Risk Management Framework.

Les évaluations via S.E.B. sont disponibles par abonnement sur le site web silt-seb.com.