Kinas nationella säkerhetsministerium varnar för risker med AI-röstkloning

Kinas nationella säkerhetsministerium har utfärdat en varning rörande potentiella risker med AI-baserad röstkloningsteknik. Eftersom AI snabbt och exakt kan imitera mänskliga röster, hotar dess missbruk den sociala ordningen och individers egendom.

Ministeriet har identifierat tre centrala egenskaper hos AI-röstkloning: snabb sampling, där röster kan klonas på bara några sekunder; extremt realistisk syntes, som är svår att skilja från äkta tal; och enkel användning, då många onlineplattformar erbjuder "röstkloningsfunktioner" för vanliga användare.

Denna teknik kan leda till tre typer av risker. Brottslingar kan använda klonade röster för att lura människor genom att utge sig för att vara offerns familjemedlemmar och skapa brådskande situationer. Dessutom används AI för att förfalska kändisars röster för kommersiella ändamål och i sociala medier, vilket inkräktar på naturliga personers rättigheter. Det kan också användas för att sprida falsk information i offentliga personers namn för att vilseleda allmänheten.

Landet har etablerat ett rättsligt system för att hantera dessa risker. Skyddet av en persons röst etableras genom civila skyddsmekanismer och straffrättsliga åtgärder. Obehörig röstkloning, syntes eller distribution betraktas som intrång. Nya regleringar, såsom "Tillfälliga bestämmelser för hantering av generativa AI-tjänster", har stärkts för att kräva plattformansvar, inklusive användarverifiering och spårbarhet av innehåll.

Det nationella säkerhetsministeriet uppmanar onlineplattformar att ta fullt ansvar för innehållsmodering, ta bort olagliga verktyg och förbättra övervakningsmekanismer. Branschaktörer måste följa etiska principer, och medborgare uppmanas att skydda sina personliga röstdata, använda multifaktorautentisering och rapportera misstänkta bedrägerier till myndigheterna.