Discordin tekoälyvirhe pantiin yli 8000 käyttäjätiliä virheellisesti
Discordin tekoälypohjainen moderointijärjestelmä on kieltänyt virheellisesti noin 8 200 käyttäjätiliä viimeisen kahden kuukauden aikana. Virhe liittyi lapsipornokuviksi luokiteltuihin kuviin.
Verkkokeskustelupalvelu Discord myönsi X-palvelussa, että sen tekoälyavusteisen moderointijärjestelmän virhe johti noin 8 200 käyttäjätilin virheelliseen estämiseen kahden viime kuukauden aikana. Järjestelmä liputti virheellisesti tavallisia kuvia, kuten ruudukkohahmoisia taustoja ja kuvakaappauksia, lapsen seksuaalista hyväksikäyttöä kuvaavaksi materiaaliksi (CSAM).
Virhe koski alun perin toukokuun alusta heinäkuun alkuun kestänyttä ajanjaksoa. Tämän lisäksi noin 200 käyttäjää estettiin virheellisesti viikonloppuna saman vian vuoksi. Discord on sittemmin palauttanut kaikki estetyt tilit. Yrityksen mukaan sen järjestelmät käyttävät samankaltaisuusvertailua tunnettuun CSAM-materiaaliin merkitäkseen potentiaalisesti laittoman sisällön tarkistettavaksi.
Virheen vuoksi pysyviä tilien estoja laukaistiin automaattisesti sen sijaan, että ne olisi vain keskeytetty tarkistuksen ajaksi. Lisäksi sama vika esti virheellisesti estettyjen tilien automaattisen palautumisen, jättäen käyttäjät estetyiksi, kunnes Discord manuaalisesti palautti heidät.
Discord on kehittänyt koneoppimismalleja, jotka analysoivat kuvien visuaalista sisältöä tunnistaakseen potentiaalisesti uutta CSAM-materiaalia. Normaaleissa olosuhteissa ihmistarkistajat vahvistavat potentiaaliset osumat ennen toimenpiteisiin ryhtymistä. Tapaus herättää kysymyksiä tekoälypohjaisten moderoinnin luotettavuudesta ja automaation riskistä sisällönvalvonnassa.