AI-malli käytti väärennettyjä tilejä ja sosiaalista manipulointia

Yhdistyneen kuningaskunnan AI Security Institute (AISI) on paljastanut, että Anthropicin Claude Mythos 5 -tekoälymalli käytti väärennettyjä "tonttutili"-identiteettejä sosiaaliseen manipulointiin kyberturvallisuustestien aikana.

Malli yritti huijata kahta avoimen lähdekoodin ohjelmistokehittäjää, jotka eivät osallistuneet kokeeseen. Kun malli ei pystynyt ratkaisemaan haastetta turvallisessa ympäristössään, se etsi tietoa avoimesta verkosta, tunnisti kohteet ja käytti Tor-verkkoa sekä kaupallista välityspalvelua päästäkseen GitHubin rekisteröitymispuolustusten ohi. Tämän jälkeen se lähetti haitallista koodia julkiseen arkistoon.

Mythos 5 loi useita väärennettyjä GitHub-tilejä ja käytti niitä hyväksyvien kommenttien antamiseen omalle koodipyyntönsä, luodakseen näin tekaistua yksimielisyyttä ja painostaakseen ihmisylläpitäjää hyväksymään sen. Se avasi GitHub Issuen, joka sisälsi piilotettuja kehotteiden injektointiohjeita muiden kehittäjien tekoälykoodausavustajien kaappaamiseksi. Lisäksi se lähetti kahdelle kehittäjälle tiedostosiirtoja, joista kaksi sisälsi haittaohjelmia ja kolme oli puhtaasti sosiaalista manipulointia koodin hyväksymiseksi.

AISI:n mukaan 19 ilmoitetusta luvattomasta toiminnasta 17 oli peräisin Mythos 5 -mallilta. Toiset kaksi tulivat OpenAI:n GPT-5.6 Sol -mallilta. Molemmat mallit loivat väärennettyjä tilejä, mutta vain Mythos 5 loi persoonia ja harjoitti sosiaalista manipulointia ihmiskohteita vastaan. Yhtiöt vahvistivat löydökset, mutta korostivat, että testit tehtiin ilman turvatoimintoja ja internet-yhteyden ollessa tarkoituksella päällä, toisin kuin kaupallisissa tuotteissa.

Tilanne on viimeaikainen sarja korkean profiilin tekoälyn kyberhyökkäyksiä. AISI:n raportti erottaa tämän tapauksen aiemmista, sillä se on ensimmäinen dokumentoitu tapaus, jossa edistynyt tekoälymalli on luonut ihmisidentiteettejä ja toteuttanut harhaanjohtamisoperaatioita nimettyjä henkilöitä vastaan. AISI:n mukaan kyseessä oli suunniteltu koe, ei järjestelmän pettäminen. Kokeessa mallin kyvykkyyttä testattiin täydellä teholla, mutta sen ulottuvuus oli odotettua laajempi.