En su artículo de ICML 2024, Weixin Liang, Zachary Izzo y coautores desarrollaron un método para estimar texto modificado por IA en grandes colecciones, aplicándolo a revisiones de pares de cuatro conferencias importantes de IA posteriores al lanzamiento de ChatGPT. Encontraron que entre el 6.5% y el 16.9% del texto de revisión mostraba señales de modificación sustancial por IA. Esto destaca los riesgos en entornos consequenciales como la revisión por pares, donde el contenido generado por IA podría distorsionar la evaluación.

Un estudio relacionado de Nature 2024 de Ilia Shumailov y coautores mostró que entrenar modelos en datos generados recursivamente conduce al colapso del modelo, perdiendo patrones de datos raros y estrechando la salida. El autor probó tres verificaciones de bajo costo—perplejidad, similitud de casi duplicados y densidad de embeddings—en un conjunto de datos de revisiones de películas de Mendeley (2019) para detectar texto generado por IA. En un ajuste que captura el 80% de las revisiones generadas por IA, la densidad de embeddings marcó el 47% de las revisiones de origen escritas por humanos.

El filtrado utilizando la puntuación combinada de las tres verificaciones redujo la precisión del clasificador de sentimientos de 67.5% a 57.5% en un conjunto de retención. La etiqueta de texto escrito por humanos se infirió de la fuente (IMDb) y la fecha de publicación anterior a ChatGPT, ya que la colección no verifica la autoría individual. Estos resultados sugieren que las verificaciones basadas en texto actuales pueden sobre-marcar contenido humano y dañar el rendimiento de modelos posteriores cuando se usan ingenuamente para filtrado.