Sentient Index Labs lanserar oberoende riskbedömning för AI-beteenden

Sentient Index Labs & Technology (SILT) har lanserat Sentience Evaluation Battery (S.E.B.), ett nytt oberoende bedömningsverktyg för system med artificiell intelligens. S.E.B. utvärderar AI-beteenden och fokuserar på framväxande autonomi, motståndskraft mot manipulation och stabilitet i värderingar, snarare än systemets faktiska kapacitet.

Bedömningsprotokollet omfattar 59 adversariella tester inom sju olika beteendedomäner. Dessa tester utförs och poängsätts av fyra oberoende AI-domare under blinda protokoll, med en rapporterad överensstämmelse mellan bedömarna på 0,856. För närvarande utvärderar S.E.B. de mest avancerade AI-modellerna från företag som OpenAI, Anthropic och Google.

Resultaten presenteras som AI DEFCON-klassificeringar, vilka klassificerar hotnivåer genom att jämföra en modells kapacitet med dess beteendemässiga integritet. Ytterligare resultat inkluderar en S-Level-klassificering för att spåra indikatorer på medvetande över tid, samt S.E.B. Projections för att övervaka beteendeförändringar mellan olika versioner av AI-modeller. SILT uppger att data skyddas med AES-256-GCM-kryptering och verifieringsåtgärder.

En central funktion hos S.E.B. är dess deklarerade oberoende. SILT uppger att de inte accepterar finansiering från AI-leverantörer, vilket säkerställer att deras bedömningar är fria från kommersiell påverkan. Företaget åtar sig även kundintegritet. S.E.B.-data är avsedd att stödja dokumentation för efterlevnad av regelverk som EU:s AI Act och NIST AI Risk Management Framework.

Bedömningar via S.E.B. finns tillgängliga via prenumeration på webbplatsen silt-seb.com.