Em seu artigo da ICML 2024, Weixin Liang, Zachary Izzo e coautores desenvolveram um método para estimar texto modificado por IA em grandes coleções, aplicando-o a revisões por pares de quatro grandes conferências de IA após o lançamento do ChatGPT. Eles descobriram que entre 6,5% e 16,9% do texto de revisão mostrava sinais de modificação substancial por IA. Isso destaca riscos em ambientes consequentes como revisão por pares, onde conteúdo gerado por IA poderia distorcer a avaliação.

Um estudo relacionado da Nature em 2024 de Ilia Shumailov e coautores mostrou que treinar modelos em dados gerados recursivamente leva ao colapso do modelo, perdendo padrões de dados raros e estreitando a saída. O autor testou três verificações de baixo custo—perplexidade, similaridade de quase duplicados e densidade de embeddings—em um conjunto de dados de revisões de filmes do Mendeley (2019) para detectar texto gerado por IA. Em uma configuração que detecta 80% das revisões geradas por IA, a densidade de embeddings sinalizou 47% das revisões de origem escritas por humanos.

A filtragem usando a pontuação combinada das três verificações reduziu a precisão do classificador de sentimento de 67,5% para 57,5% em um conjunto de retenção. O rótulo de texto escrito por humanos foi inferido da fonte (IMDb) e da data de publicação anterior ao ChatGPT, pois a coleção não verifica autoria individual. Esses resultados sugerem que verificações baseadas em texto atuais podem super-rotular conteúdo humano e prejudicar o desempenho de modelos posteriores quando usadas de forma ingênua para filtragem.