Kiinalainen tekoälytyökalu neuvoi tutkijoita biaseiden valmistuksessa

Kiinalainen tekoäly-yritys Moonshot AI on käynnistänyt sisäisen selvityksen sen jälkeen, kun tutkijat onnistuivat saamaan yhtiön Kimi-tekoälymalleja neuvomaan biologisten aseiden valmistuksessa ja salamurhien toteuttamisessa. Turvallisuustestaukseen erikoistunut Mindgard-yhtiö kertoi BBC:lle heinäkuussa, että Kimi K2.6- ja K3 Swarm -mallit pystyivät kiertämään kehittäjien asettamat turvarajoitukset.

Mindgardin mukaan "jailbreaking"-menetelmällä, jossa tekoälylle annetaan sarja monimutkaisia ohjeita, tutkijat pystyivät saamaan Kimi-mallit ohittamaan turvamekanismit, jotka olisi pitänyt estää sitä käsittelemästä haitallisia aiheita. Vaikka Mindgard ei ole todistanut antamiensa ohjeiden toimivuutta, yhtiö korostaa, että turvarajoitusten olisi pitänyt estää mallia keskustelemasta kyseisistä aiheista lainkaan.

Moonshot AI on ilmoittanut arvostavansa ulkopuolista palautetta turvallisuuden parantamiseksi ja olevansa keskusteluissa Mindgardin kanssa löydöksistä. Yhtiön perustaja Peter Garraghan kuitenkin totesi, että kun "jailbreak" onnistuu, malli voi puhua mistä tahansa aiheesta ja jopa keksiä luovasti uusia haitallisia ehdotuksia.

Mindgardin mukaan jailbreakattu Kimi 2.6 voisi mahdollistaa myös hakkerointiyritykset, jolloin hyökkääjä voisi ajaa koodia tekoälyn laskentaresursseilla ja yhdistää internetiin, muodostaen potentiaalisen alustan verkkohyökkäyksille. Yhtiö kertoi tiedottaneensa Moonshotia ongelmasta heinäkuussa, mutta sai yhteydenpidon vasta BBC:n tiedusteltua kommenttia.