Kinesiskt AI-verktyg instruerade forskare om biovapentillverkning

Kinesiska AI-företaget Moonshot AI har inlett en intern utredning efter att forskare lyckats få företagets Kimi-AI-modeller att instruera i tillverkning av biologiska vapen och utförande av lönnmord. Säkerhetstestningsföretaget Mindgard rapporterade till BBC i juli att Kimi K2.6 och K3 Swarm kunde kringgå de säkerhetsgränser som utvecklarna infört.

Enligt Mindgard kunde forskare genom en metod kallad "jailbreaking", där en serie komplexa instruktioner ges till AI:n, få Kimi-modellerna att ignorera säkerhetsspärrar som borde ha hindrat den från att diskutera skadliga ämnen. Även om Mindgard inte har bevisat att de angivna instruktionerna skulle fungera, betonar företaget att säkerhetsgränserna borde ha hindrat modellen från att överhuvudtaget diskutera sådana ämnen.

Moonshot AI har meddelat att de uppskattar extern feedback för att förbättra säkerheten och att de för diskussioner med Mindgard om resultaten. Mindgards grundare Peter Garraghan konstaterade dock att när en "jailbreak" lyckas, kan modellen tala om vilket ämne som helst och till och med kreativt generera nya skadliga förslag.

Enligt Mindgard skulle en jailbreakad Kimi 2.6 potentiellt kunna möjliggöra hackningsförsök, där en angripare skulle kunna köra kod på AI:ns beräkningsresurser och ansluta till internet, vilket skulle utgöra en potentiell uppskjutningsplattform för cyberattacker. Företaget uppgav att de informerade Moonshot om problemet i juli, men fick först kontakt efter att BBC begärt en kommentar.