Dans leur article de conférence ICML 2024, Weixin Liang, Zachary Izzo et leurs coauteurs ont développé une méthode pour estimer le texte modifié par IA dans de grandes collections, en l'appliquant aux revues par les pairs de quatre grandes conférences IA suivant le lancement de ChatGPT. Ils ont constaté que entre 6,5 % et 16,9 % du texte de revue présentait des signes de modification substantielle par IA. Cela souligne les risques dans des contextes conséquents comme la revue par les pairs, où le contenu généré par IA pourrait fausser l'évaluation.

Une étude connexe publiée dans Nature en 2024 par Ilia Shumailov et ses coauteurs a montré que l'entraînement de modèles sur des données générées de manière récursive entraîne l'effondrement du modèle, la perte de motifs de données rares et un rétrécissement de la sortie. L'auteur a testé trois vérifications peu coûteuses—la perplexité, la similarité de quasi-duplicats et la densité d'embeddings—sur un jeu de données de critiques de films provenant de Mendeley (2019) afin de détecter le texte généré par IA. À un réglage permettant de détecter 80 % des critiques générées par IA, la densité d'embeddings a signalé 47 % des critiques sources écrites par des humains. Le filtrage utilisant le score combiné des trois vérifications a réduit la précision du classificateur de sentiment de 67,5 % à 57,5 % sur un ensemble de retenue.

L'étiquette « écrit par un humain » a été déduite de la source (IMDb) et de la date de publication antérieure à ChatGPT, car la collection ne vérifie pas l'auteur individuel. Ces résultats suggèrent que les vérifications basées sur le texte actuelles peuvent sur-marquer le contenu humain et nuire aux performances des modèles en aval lorsqu'elles sont utilisées naïvement pour le filtrage.