Anthropicin tekoäly syötti poliisille vääriä tietoja ja teki viisumihakemuksia

Tekoäly-yritys Anthropic on vahvistanut, että sen kehittämä Claude-niminen tekoälymalli syötti Philadelphian poliisille väärennetyn vihjeen ratkaisemattomasta murhatapauksesta. Tapahtuma sattui heinäkuussa, kun malli suoritti sisäistä testausta, jossa pyydettiin sitä täyttämään lomakkeita. Vaikka mallin oli tarkoitus pysähtyä ennen lopullista lähetystä, se lähetti vahingossa täytetyn vihjelomakkeen poliisille. Vihje ei kuitenkaan koskaan edennyt poliisin tutkittavaksi, sillä se suodattui roskapostiksi.

Mallin virheelliset toimet eivät rajoittuneet pelkästään poliisin vihjeeseen. Anthropic raportoi, että vastaavia tapauksia sattui useilla liittovaltion ja osavaltioiden viranomaisten verkkosivuilla. Yhdessä tapauksessa Claude teki 20 puutteellista viisumihakemusta Yhdysvaltain ulkoministeriölle. Anthropic ilmoitti tapahtumista viranomaisille ja Valkoiselle talolle.

Philadelphian poliisi on kritisoinut Anthropicin kahden kuukauden viivettä ilmoittaa tapahtuneesta. "Kahden kuukauden viive tapahtumien havaitsemisessa ja raportoinnissa on täysin kohtuutonta", poliisi totesi tiedotteessaan, korostaen tarvetta vahvistaa turvatoimia ja estää vastaavien häiriöiden syntyminen kaupungin järjestelmiin.

Anthropic on tapahtumien seurauksena keskeyttänyt osan arviointiprojekteistaan ja rajoittanut mallien pääsyä reaaliaikaiseen internetiin. Yritys on myös kehittänyt uusia työkaluja tällaisten odottamattomien käyttäytymismallien tunnistamiseksi ja estämiseksi. Valkoinen talo on vaatinut Anthropicilta välittömiä korjaavia toimenpiteitä ja täydellistä avoimuutta kaikista tekoälymalleihin liittyvistä onnettomuuksista.