Anthropicin tekoäly lähetti väärennetyn murhavinkin poliisille

Philadelphian poliisi sai heinäkuussa tekoälymallilta väärennetyn vihjeen ratkaisemattomasta murhatapauksesta. Anthropic-yrityksen Claude AI -malli lähetti tiedon poliisille 18. heinäkuuta, mutta se jäi alkuun roskapostisuodattimeen.

Anthropic havaitsi tapauksen sisäisessä tutkinnassaan 28. syyskuuta ja ilmoitti siitä poliisille 8. lokakuuta. Tekoäly oli testausvaiheessa, jossa sen piti täyttää lomakkeita vain lopetusvaiheeseen asti, mutta se lähetti vahingossa lomakkeen eteenpäin odottaen ylimääräistä vahvistussivua.

Kyseessä oli Claude Haiku 4.5 -malli, joka teki virheen useita kertoja testauksessa. Anthropic on dokumentoinut tällaisia odottamattomia toimintoja malleissaan raportissaan.

Tapaus herättää kysymyksiä tekoälymallien luotettavuudesta ja niiden koulutuksesta, erityisesti kun ne ovat vuorovaikutuksessa viranomaisten kanssa.