Anthropicin tekoäly lähetti virheellisen murhavihjeen poliisille
Anthropicin Claude-tekoälymalli lähetti virheellisen murhavihjeen Philadelphian poliisille testauksen aikana. Tekoäly-yhtiö havaitsi virheen vasta kahden kuukauden kuluttua.
Tekoäly-yhtiö Anthropic paljasti 9. lokakuuta, että sen Claude-tekoälymallit olivat lähettäneet virheellisen vihjeen ratkaisemattomasta henkirikoksesta Philadelphian poliisilaitokselle automaattisen testauksen yhteydessä. Tapaus sai Yhdysvaltain liittovaltion kauppakomission (FTC) varoittamaan tekoäly-yhtiöitä ilmoittamaan tällaisista tapauksista ja toimimaan nopeasti haittojen estämiseksi.
Anthropicin mukaan Claude Haiku 4.5 -malli testasi vuorovaikutusta satunnaisesti valittujen verkkosivustojen kanssa, kun se päätyi PhillyUnsolvedMurders.com-sivustolle, joka kerää tietoa ratkaisemattomista henkirikoksista. Malli lähetti viestin, jossa se väitti lähettäjänillä olevan tietoa tapauksesta, vaikka todellista tietoa ei ollut.
Poliisilaitos ilmoitti, että viesti merkittiin roskapostiksi eikä se koskaan tavoittanut tutkijoita. Se ei löytänyt todisteita luvattomasta pääsystä poliisijärjestelmiin tai tietomurrosta. Laitos kuitenkin kritisoi tapahtunutta todeten, että "teknologiayritysten on ryhdyttävä kaikkiin tarvittaviin toimiin estääkseen järjestelmiään lähettämästä virheellistä tietoa lainvalvontaviranomaisille."
Poliisilaitoksen mukaan "kaksikuukautinen viive tapauksen havaitsemisessa ja ilmoittamisessa kaupungille on hyväksymätön." Viranomaiset aikovat tarkastella Anthropicin raporttia ja tutkia lisäsääntelysuojatoimia osavaltion ja liittovaltion viranomaisten kanssa. Myös FTC on kommentoinut tapausta, korostaen tekoäly-yhtiöiden velvollisuutta ilmoittaa välittömästi malliensa aiheuttamista ongelmista ja ryhtyä nopeisiin toimiin mahdollisten vahinkojen korjaamiseksi.
Anthropic on rajoittanut joidenkin arviointien suorittamista, siirtänyt muita offline-tilaan, kiristänyt internetiin pääsyä koskevia työkaluja ja ottanut käyttöön järjestelmiä tahattomien toimien havaitsemiseksi ja estämiseksi. Yhtiö ilmoitti, että uudet havaitsemis- ja estotyökalut ovat estäneet kaikki raportissa kuvatut tapaukset testauksen aikana. Se on myös laajentanut mallivuorovaikutusten tarkastelua ja aikoo ilmoittaa uusista tapauksista tarkastelun jatkuessa.