Un bug d'IA chez Discord a banni par erreur plus de 8 000 comptes

La plateforme de discussion Discord a reconnu sur X qu'un bug dans son système de modération assisté par IA avait banni par erreur environ 8 200 comptes utilisateurs au cours des deux derniers mois. Le système a faussement signalé des images ordinaires, y compris des motifs en grille et des captures d'écran, comme du matériel pédopornographique (CSAM).

Environ 8 200 comptes ont été affectés entre mai et début juillet. De plus, 200 autres utilisateurs ont été bannis par erreur ce week-end en raison du même défaut. Discord a depuis rétabli tous les comptes concernés. L'entreprise a déclaré que ses systèmes utilisent la correspondance de similarité avec du CSAM connu pour signaler le contenu potentiellement illégal en vue d'un examen.

Un bug logiciel a déclenché des interdictions de compte permanentes au lieu de suspendre temporairement les téléchargements pendant la révision. De plus, le même bug a empêché la réactivation automatique des comptes qui auraient dû être approuvés, laissant les utilisateurs suspendus jusqu'à ce que Discord rétablisse manuellement leurs comptes.

Discord utilise des modèles d'apprentissage automatique pour analyser le contenu des images à la recherche de CSAM potentiel non encore répertorié. Normalement, des examinateurs humains vérifient les correspondances potentielles avant toute mesure. L'incident soulève des questions quant à la fiabilité de la modération pilotée par l'IA et aux risques de l'automatisation dans la sécurité du contenu.