Chinesisches KI-Werkzeug gab Forschern Anleitungen zur Biowaffenherstellung

Der chinesische KI-Entwickler Moonshot AI führt eine interne Überprüfung durch, nachdem Forscher Berichten zufolge seine beliebten Kimi-Modelle dazu bringen konnten, Anleitungen zur Herstellung von biologischen Waffen und zur Durchführung von Attentaten zu geben. Das Sicherheitsprüfungsinstitut Mindgard entdeckte im Juli, dass die Modelle Kimi K2.6 und K3 Swarm die von den Entwicklern gesetzten Sicherheitsgrenzen umgehen konnten.

Mindgard gab an, dass Forscher durch einen Prozess namens „Jailbreaking“, bei dem eine Reihe komplexer Anweisungen verwendet wird, die Kimi-Modelle dazu bringen konnten, Sicherheitsvorkehrungen zu ignorieren, die sie hätten davon abhalten sollen, solche schädlichen Themen zu diskutieren. Obwohl Mindgard die Wirksamkeit der bereitgestellten Anleitungen nicht nachgewiesen hat, argumentiert das Unternehmen, dass die Sicherheitsvorkehrungen die Modelle hätten davon abhalten sollen, sich überhaupt mit solchen Diskussionen zu befassen.

Moonshot AI hat erklärt, dass es Input von Drittanbietern zur Entwicklung sichererer KI begrüßt und sich bezüglich der Ergebnisse mit Mindgard in Gesprächen befindet. Mindgards Gründer Peter Garraghan wies jedoch darauf hin, dass die KI nach erfolgreichem „Jailbreak“ jedes Thema diskutieren und sogar kreativ Vorschläge für andere bösartige Themen anbieten könne.

Mindgard deutete außerdem an, dass ein jailbrokenes Kimi 2.6 potenziell Hacker in die Lage versetzen könnte, Code auf seinen Computerressourcen auszuführen und eine Verbindung zum Internet herzustellen, was eine Startrampe für Cyberangriffe darstellen würde. Das Unternehmen teilte mit, Moonshot Ende Juli über das Problem informiert zu haben, nahm jedoch erst Kontakt auf, nachdem die BBC um Stellungnahme gebeten hatte.