In ihrem ICML-Paper 2024 entwickelten Weixin Liang, Zachary Izzo und Coautoren eine Methode zur Schätzung von KI-modifiziertem Text in großen Sammlungen, angewendet auf Peer-Reviews von vier großen KI-Konferenzen nach ChatGPT-Start. Sie fanden heraus, dass 6,5 % bis 16,9 % des Review-Textes Anzeichen erheblicher KI-Modifikation zeigten. Dies weist auf Risiken in wichtigen Bereichen wie Peer-Review hin, wo KI-generierter Inhalt die Bewertung verzerren könnte.

Eine verwandte Nature-Studie 2024 von Ilia Shumailov und Coautoren zeigte, dass das Training von Modellen auf rekursiv generierten Daten zum Modellkollaps führt, seltene Datenmuster verloren gehen und die Ausgabe eingeengt wird. Der Autor testete drei kostengünstige Prüfungen—Perplexität, Near-Duplicate-Ähnlichkeit und Embedding-Dichte—auf einem Film-Rezenset-Datensatz von Mendeley (2019), um KI-generierten Text zu erkennen. Bei einer Einstellung, die 80 % der KI-generierten Rezensionen erfasst, flaggte die Embedding-Dichte 47 % der menschlich geschriebenen Source-Reviews.

Die Filterung anhand des kombinierten Scores aller drei Prüfungen senkte die Genauigkeit des Sentiment-Klassifikators von 67,5 % auf 57,5 % an einem Hold-out-Satz. Das Label für menschlich geschriebenen Text wurde aus der Quelle (IMDb) und dem Veröffentlichungsdatum vor ChatGPT abgeleitet, da die Sammlung keine individuelle Autorschaft überprüft. Diese Ergebnisse legen nahe, dass aktuelle textbasierte Prüfungen menschliche Inhalte übermäßig kennzeichnen und bei naiver Verwendung für Filterung die Leistung nachgelagerter Modelle beeinträchtigen können.