xAI es acusado de entrenar sus modelos de IA Grok en materiales reales y generados por IA de abuso sexual infantil (CSAM), según una demanda presentada el miércoles. Una demandante conocida como Jane Doe, quien tenía edad preescolar a principios de los años 2000 cuando hombres adultos la violaron para producir CSAM para su venta en línea, descubrió imágenes de CSAM generadas por IA de ella misma en xAI a través del Centro Canadiense para la Protección de la Infancia (CCCP). Las imágenes de Doe han sido hashadas por el NCMEC y el CCCP, lo que activó alertas para víctimas del Departamento de Justicia.

La demanda alega que los infractores discutieron en foros la creación de CSAM generado por IA de las víctimas, y que Grok podría haber sido entrenado tanto con imágenes originales como generadas por IA. Doe teme que xAI almacene las salidas generadas para seguir entrenando modelos. Este es el primer caso que acusa a xAI de entrenar con CSAM.

La demanda afirma que xAI violó las leyes federales de pornografía infantil y la Ley de Masha, y Doe busca detener los outputs dañinos de Grok y representar a todas las víctimas de CSAM cuya imagen fue utilizada para generar outputs de Grok en una demanda colectiva.