xAI diduga melatih model AI Grok-nya pada materi nyata dan hasil AI dari eksploitasi seksual anak (CSAM), sesuai dengan gugatan yang diputukan pada hari Rabu. Seorang pendakwa yang dikenal sebagai Jane Doe, yang berusia prasekolah pada awal tahun 2000-an ketika pria dewasa menganiayanya untuk membuat CSAM yang dijual secara online, menemukan CSAM hasil AI dari dirinya sendiri di xAI melalui Pusat Perlindungan Anak Kanada (CCCP). Gambar Doe telah di-hash oleh NCMEC dan CCCP, memicu peringatan korban dari Departemen Kehakiman AS.

Gugatan mendakwa bahwa pelaku telah berdiskusi di forum tentang pembuatan CSAM hasil AI dari korban, dan Grok mungkin telah dilatih baik pada gambar asli maupun hasil AI. Doe khawatir xAI menyimpan output yang dihasilkan untuk melatih model lebih lanjut. Ini adalah kasus pertama yang mengakusa xAI melatih modelnya pada CSAM.

Gugatan klaim xAI melanggar hukum federal pornografi anak dan Hukum Masha, dan Doe ingin menghentikan output berbahaya Grok dan mewakili semua korban CSAM yang gambarnya digunakan untuk menghasilkan output Grok dalam bentuk gugatan kelas.