xAI est accusé d'avoir formé ses modèles d'IA Grok sur du matériel réel et généré par IA d'abus sexuels sur enfants (CSAM), selon une plainte déposée mercredi. Une plaignante connue sous le nom de Jane Doe, qui était en âge préscolaire au début des années 2000 lorsque des hommes adultes l'ont violée pour produire du CSAM destiné à la vente en ligne, a découvert du CSAM généré par IA la concernant sur xAI par l'intermédiaire du Centre canadien de protection de l'enfance (CCCP). Les images de Doe ont été hachées par le NCMEC et le CCCP, déclenchant des alertes pour les victimes du Département de la Justice.

La plainte allègue que les délinquants ont discuté sur des forums de la création de CSAM généré par IA concernant les victimes, et que Grok aurait pu être formé à la fois sur des images originales et des images générées par IA. Doe craint que xAI stocke les sorties générées pour continuer à former les modèles. C'est la première affaire accusant xAI d'avoir formé ses modèles sur du CSAM.

La plainte affirme que xAI a violé les lois fédérales sur la pornographie infantile et la loi Masha, et Doe cherche à arrêter les sorties nocives de Grok et à représenter toutes les victimes de CSAM dont les images ont été utilisées pour générer les sorties de Grok dans le cadre d'une action collective.