Yritysten tekoälyagenttien arvioinnissa aukko vapauteen ja turvallisuuteen
Tutkimus paljastaa, että puolet yrityksistä on julkaissut tekoälyagentteja, jotka läpäisivät sisäiset testit mutta epäonnistuivat asiakkaille. Vain harva luottaa täysin automatisoituun arviointiin.
VentureBeatin uusi tutkimus paljastaa merkittävän aukon yritysten tekoälyagenttien arvioinnissa, missä automaatio ja todellinen suorituskyky eivät vastaa toisiaan. Keskimäärin 157 tutkitusta yrityksestä puolet on julkaissut tekoälyagentteja, jotka olivat läpäisseet sisäiset arviointinsa, mutta epäonnistuivat käytännön asiakaskäytössä. Vain harva, eli yksi kahdestakymmenestä, luottaa täysin automaattiseen arviointiin.
Tärkein syy tähän luottamuspulaan on arviointien epäyhtenäisyys todellisten tulosten kanssa. Yritykset myöntävät yhä enemmän autonomian tekoälyagenteilleen, mutta käytetyt testausmenetelmät eivät pysty ennakoimaan luotettavasti niiden toimintaa tuotannossa. Tästä huolimatta kaksi kolmesta yrityksestä sallii jo, tai on kehittämässä järjestelmiä, jotka mahdollistavat agenttien käyttöönoton tuotantoon pelkän automatisoidun arvioinnin perusteella, ilman ihmisvalvontaa.
Tutkimus, "Agentic Reliability & Evals tracker", haastatteli teknisiä johtajia selvittääkseen, miten tekoälyagenttien suorituskykyä mitataan, mitä luotettavuus- ja arviointityökaluja käytetään, ja kuinka paljon autonomiaa agenteille annetaan. Tärkein havainto on "arviointiaukko": etäisyys sen välillä, kuinka paljon autonomiaa yritykset antavat agenteilleen, ja kuinka paljon ne luottavat testeihin, joiden pitäisi tunnistaa virheet.
Löydökset osoittavat, että vaikka puolet yrityksistä on kohdannut asiakasrajapinnassa virheellisesti toimineen agentin, joka oli läpäissyt testit, vain 5 % luottaa täysin automatisoituihin arviointeihin. Yleisin kritiikki (29 %) on arviointien puutteellinen yhteys todellisiin käyttötuloksiin. Tästä huolimatta 66 % yrityksistä sallii tai kehittää malleja, joissa agenttien käyttöönotto tapahtuu ilman ihmisvalvontaa, mikä viittaa siihen, että autonomian lisääntyminen on nopeampaa kuin varmistusmekanismien kehittyminen.