Discord admite que un error de IA causó miles de suspensiones injustas

Discord ha reconocido que un error en su sistema de moderación por IA suspendió injustamente a más de 8000 usuarios en los últimos dos meses. La plataforma de comunicación confirmó que el problema ha afectado cuentas desde mayo, con otros 200 usuarios suspendidos durante el fin de semana antes de que la empresa identificara y resolviera el problema. El sistema marcó incorrectamente imágenes inofensivas —como patrones de cuadrícula— como material ilegal o abusivo, lo que resultó en suspensiones permanentes.

En las plataformas de redes sociales X y Reddit, los usuarios expresaron una frustración significativa, señalando que las suspensiones permanentes de cuentas basadas en falsos positivos tienen consecuencias graves para quienes dependen de la plataforma para trabajar o para su comunidad. Los usuarios afirmaron que fueron suspendidos permanentemente simplemente por subir imágenes que contenían patrones de cuadrícula. Muchos especularon que las herramientas de moderación por IA de Discord se han vuelto sensibles a los patrones de cuadrícula porque anteriormente se han utilizado para disfrazar contenido NSFW y de explotación infantil de la detección automatizada. Un usuario de X destacó el impacto devastador de estos errores automatizados y escribió: “Perder una cuenta de Discord por algo tan injusto como esto puede ser extremadamente devastador y afectar gravemente a los usuarios, y cada día millones de usuarios se ven afectados por falsas suspensiones por IA. Esto debe detenerse”.

Al explicar el problema, Discord señaló que su sistema de seguridad automatizado compara el contenido subido con bases de datos de material dañino conocido, lo que a veces puede generar falsos positivos. La empresa declaró: “Estamos trabajando en mejores salvaguardas para que esto no vuelva a suceder”. Este incidente refleja una lucha más amplia de la industria con la moderación automatizada. El año pasado, usuarios de Instagram y Facebook Groups —ambos propiedad de Meta—, así como de Tumblr, reportaron quejas de moderación similares y suspensiones de cuentas inexplicables. Aunque los usuarios señalaron a los sistemas automatizados, Meta no confirmó públicamente si los errores de IA eran los responsables. Actualmente, la Junta de Supervisión de Meta (organismo independiente que revisa sus decisiones de moderación) está presionando para obtener una mayor transparencia con respecto a las prácticas de moderación de la empresa.

Por qué importa

El incidente destaca uno de los desafíos crecientes en torno a la moderación asistida por IA, a medida que muchas plataformas dependen cada vez más de sistemas automatizados para identificar material ilegal o abusivo a gran escala.