Sentient Index Labs julkaisee riippumattoman tekoälyn käyttäytymisriskin arvioinnin

Sentient Index Labs & Technology (SILT) on tuonut markkinoille Sentience Evaluation Batteryn (S.E.B.), uuden riippumattoman arviointityökalun tekoälyjärjestelmille. S.E.B. arvioi tekoälyn käyttäytymistä keskittyen sen kehittyvään autonomiaan, petosten vastustuskykyyn ja arvojen vakauteen pikemminkin kuin järjestelmän raakoihin kykyihin.

Arviointimenetelmä sisältää 59 haastetta seitsemällä käyttäytymisalueella. Näitä testejä suorittavat ja pisteyttävät neljä riippumatonta tekoälytuomaria sokeiden protokollien mukaisesti, ja raportoitu arvioijien välinen yhdenmukaisuus on 0,856. Tällä hetkellä S.E.B. arvioi useiden yritysten, kuten OpenAI, Anthropic ja Google, rajatiloissa toimivia malleja.

Tulokset esitetään AI DEFCON -luokituksina, jotka luokittelevat uhkatasoja vertaamalla mallin kyvykkyyttä sen käyttäytymisen integriteettiin. Lisätuotteita ovat S-Level-luokitus, jolla seurataan sentienssi-indikaattoreita ajan mittaan, sekä S.E.B. Projections, joka seuraa käyttäytymisen muutoksia tekoälymallien versioiden välillä. SILT ilmoitti datan olevan suojattu AES-256-GCM-salauksella ja toimenpiteillä.

S.E.B.:n keskeinen ominaisuus on sen julistettu riippumattomuus. SILT ilmoittaa, ettei se hyväksy rahoitusta tekoälytoimittajilta, mikä varmistaa arviointien vapauden kaupallisesta vaikutuksesta. Yritys sitoutuu myös asiakassalassapitoon. S.E.B.-data on tarkoitettu tukemaan vaatimustenmukaisuusdokumentaatiota esimerkiksi EU:n tekoälyasetuksen ja NIST AI Risk Management Frameworkin osalta.

S.E.B.-arvioinnit ovat saatavilla tilauspohjaisesti silt-seb.com-verkkosivustolla.