xAI é acusado de ter treinado seus modelos de IA Grok em material real e gerado por IA de abuso sexual infantil (CSAM), segundo uma ação judicial movida na quarta-feira. Uma autora conhecida como Jane Doe, que tinha idade pré-escolar no início dos anos 2000 quando homens adultos a estupraram para produzir CSAM para venda online, descobriu CSAM gerado por IA dela mesma no xAI por meio do Centro Canadense de Proteção à Infância (CCCP). As imagens de Doe foram hashadas pelo NCMEC e pelo CCCP, acionando alertas para vítimas do Departamento de Justiça.

A ação alega que os infratores discutiram em fóruns a criação de CSAM gerado por IA das vítimas, e que o Grok pode ter sido treinado tanto com imagens originais quanto geradas por IA. Doe teme que o xAI armazene as saídas geradas para continuar treinando os modelos. Este é o primeiro caso que acusa o xAI de ter treinado com CSAM.

A ação alega que o xAI violou as leis federais de pornografia infantil e a Lei de Masha, e Doe busca interromper as saídas prejudiciais do Grok e representar todas as vítimas de CSAM cujas imagens foram usadas para gerar as saídas do Grok em uma ação coletiva.