Discourses AI-fel ledde till felaktiga utestängningar av över 8 000 konton

Chattjänsten Discord har medgett på X att ett fel i dess AI-stödda modereringssystem felaktigt har resulterat i att cirka 8 200 användarkonton stängts av under de senaste två månaderna. Systemet felidentifierade oskyldiga bilder, inklusive rutnät och skärmdumpar, som material relaterat till barnsexuella övergrepp (CSAM).

Kring 8 200 konton påverkades mellan maj och början av juli. Dessutom stängdes ytterligare cirka 200 användare av under helgen på grund av samma fel. Discord har sedan dess återställt alla berörda konton. Företagets system använder likhetsmatchning mot känd CSAM för att flagga potentiellt olagligt innehåll för granskning.

En programvarubugg utlöste permanenta kontostängningar istället för att tillfälligt pausa uppladdningar under granskningen. Dessutom förhindrade samma bugg automatiskt återaktivering av konton som borde ha godkänts, vilket innebar att användare förblev avstängda tills Discord manuellt återställde dem.

Disneys system använder teknologier som likhetsmatchning och maskininlärningsmodeller för att identifiera potentiellt nytt CSAM-material. Normalt sett granskar mänsklig personal innehavet innan några åtgärder vidtas. Incidenten belyser utmaningar med automatiserad innehållsmoderering och riskerna med AI-system.