Dalam paper ICML 2024, Weixin Liang, Zachary Izzo, dan co-kembangkan metode untuk memperkirakan teks yang dimodifikasi oleh AI dalam kumpulan besar, menerapkannya pada ulasan peer dari empat konferensi AI besar setelah peluncuran ChatGPT. Mereka menemukan bahwa 6,5% hingga 16,9% dari teks ulasan menunjukkan tanda modifikasi substansial oleh AI. Hal ini menyoroti risiko di pengaturan penting seperti ulasan peer, di mana konten yang dihasilkan oleh AI bisa memutar evaluasi.

Studi terkait Nature 2024 oleh Ilia Shumailov dan co-kembangkan menunjukkan bahwa pelatihan model pada data yang dihasilkan secara rekursif menyebabkan kolaps model, kehilangan pola data langka, dan penyempitan output. Penulis menguji tiga pemeriksaan berbiaya rendah—perplexity, kemiripan near-duplicate, dan kepadatan embedding—pada kumpulan data ulasan film dari Mendeley (2019) untuk mendeteksi teks yang dihasilkan oleh AI. Pada pengaturan yang mendeteksi 80% ulasan yang dihasilkan oleh AI, kepadatan embedding menandai 47% dari ulasan sumber yang ditulis oleh manusia.

Pemfilteran menggunakan skor gabungan dari ketiga pemeriksaan tersebut mengurangi akurasi klasifikasi sentiment dari 67,5% menjadi 57,5% pada kumpulan data yang ditahan. Label teks yang ditulis oleh manusia disimpulkan dari sumber (IMDb) dan tanggal terbitan sebelum ChatGPT, karena koleksi tidak memverifikasi keasalan penulis individu. Hasil ini menunjukkan bahwa pemeriksaan berbasis teks saat ini mungkin berlebihan dalam menandai konten manusia dan merusak kinerja model downstream jika digunakan secara naif untuk filtering.