Discord-KI-Fehler sperrte irrtümlich über 8.000 Konten

Die Chat-Plattform Discord hat auf X eingeräumt, dass ein Fehler in ihrem KI-gestützten Moderationssystem in den letzten zwei Monaten rund 8.200 Benutzerkonten fälschlicherweise gesperrt hat. Das System kennzeichnete irrtümlich gewöhnliche Bilder, darunter Gittermuster und Screenshots, als Material für sexuellen Kindesmissbrauch (CSAM).

Ungefähr 8.200 Konten waren zwischen Mai und Anfang Juli betroffen. Zusätzlich wurden am Wochenende weitere 200 Benutzer aufgrund desselben Fehlers gesperrt. Discord hat inzwischen alle betroffenen Konten wiederhergestellt. Das Unternehmen gab an, dass seine Systeme Ähnlichkeitsvergleiche mit bekannten CSAM-Daten verwenden, um potenziell illegale Inhalte zur Überprüfung zu kennzeichnen.

Ein Softwarefehler löste dauerhafte Kontosperrungen aus, anstatt den Uploads während der Überprüfung vorübergehend zu pausieren. Darüber hinaus verhinderte derselbe Fehler, dass freigegebene Konten automatisch wiederhergestellt wurden, was dazu führte, dass Benutzer gesperrt blieben, bis Discord ihre Konten manuell wiederherstellte.

Discord setzt maschinelle Lernmodelle ein, um Bildinhalte auf potenzielles CSAM zu analysieren, das noch nicht in Datenbanken vorhanden ist. Normalerweise überprüfen menschliche Prüfer potenzielle Übereinstimmungen, bevor Maßnahmen ergriffen werden. Der Vorfall wirft Fragen hinsichtlich der Zuverlässigkeit KI-gesteuerter Moderation und der Risiken der Automatisierung bei der Inhaltsmoderation auf.