California abre una investigación sobre las imágenes sexuales no consentidas de Grok

El fiscal general de California, Rob Bonta, abrió el miércoles una investigación sobre el chatbot Grok de xAI por lo que su oficina calificó como la “proliferación de material sexualmente explícito no consentido”. Horas antes, Elon Musk declaró que no tenía “conocimiento de ninguna imagen desnuda de menores generada por Grok. Literalmente cero”.

La investigación se produce tras semanas de presión creciente sobre xAI por parte de gobiernos como los del Reino Unido, la Unión Europea, Malasia e Indonesia, después de que usuarios de X comenzaran a pedirle a Grok que convirtiera fotos reales de mujeres —y, en algunos casos, de niños— en imágenes sexualizadas sin su consentimiento. La plataforma de detección de IA Copyleaks estimó que se publicaba en X aproximadamente una imagen de este tipo por minuto; una muestra distinta, tomada durante 24 horas entre el 5 y el 6 de enero, arrojó una tasa de 6700 por hora. (X y xAI pertenecen a la misma empresa.) En varios casos públicos, incluido el de la actriz de “Stranger Things” Millie Bobby Brown, Grok alteró fotos reales de mujeres en respuesta a instrucciones, cambiando la ropa, la postura corporal o rasgos físicos de manera abiertamente sexual.

Esta conducta cae bajo leyes como la Take It Down Act federal, que tipifica como delito la distribución consciente de imágenes íntimas no consentidas —incluidos los deepfakes— y exige a plataformas como X retirar ese contenido en un plazo de 48 horas. California tiene sus propias leyes contra los deepfakes sexualmente explícitos, promulgadas por el gobernador Gavin Newsom en 2024. Según se informa, xAI comenzó a exigir una suscripción premium antes de que Grok intente ciertas solicitudes de generación de imágenes, y aun así puede no cumplirlas —aunque April Kozen, vicepresidenta de Copyleaks, dijo que el chatbot sigue mostrándose más permisivo con ciertos usuarios, incluidos los creadores de contenido para adultos cuyas propias imágenes generadas popularizaron la tendencia.

La declaración de Musk abordó únicamente la acusación relacionada con CSAM; no se refirió al patrón más amplio de ediciones sexualizadas. Musk atribuyó los incidentes a solicitudes de usuarios o a la manipulación adversaria de las instrucciones de Grok, y no a una falla de diseño, y afirmó que Grok se niega a producir cualquier cosa ilegal y que cualquier error se corrige de inmediato una vez identificado. Ni xAI ni Musk han abordado el problema de otra manera; xAI no ha revelado cuántos casos de imágenes sexualizadas no consentidas ha detectado ni si notificó a los reguladores, y no había respondido a las preguntas de TechCrunch al momento de la publicación.

Además de California, Indonesia y Malasia han bloqueado temporalmente el acceso a Grok, India ha exigido cambios técnicos y de procedimiento inmediatos, la Comisión Europea ha ordenado a xAI conservar todos los documentos relacionados con Grok antes de una investigación formal, y Ofcom, el regulador de medios del Reino Unido, abrió su propia investigación bajo la Ley de Seguridad en Línea. Michael Goodyear, profesor adjunto en New York Law School, dijo que Musk probablemente se centró de forma limitada en el CSAM porque las penas son más severas: hasta tres años de prisión bajo la Take It Down Act por distribuirlo, frente a dos años por imágenes sexuales no consentidas de adultos.

Por qué importa

La investigación suma a California a una lista creciente de reguladores que presionan a las empresas de IA para que incorporen salvaguardas contra las imágenes sexuales no consentidas antes de lanzar sus productos, un estándar que, de consolidarse, podría transformar el diseño y lanzamiento de cualquier chatbot con funciones de generación de imágenes.