Aktivitas terbaru dalam model difusi kontinu untuk bahasa menunjukkan bahwa pendekatan ini berpotensi kembali setelah bertahun-tahun tidak aktif. Metode difusi diskrit sepenuhnya sebelumnya telah menggantikan upaya difusi kontinu awal, tetapi tren ini mulai berubah. Model bahasa modern sebagian besar bersifat autoregresif, menghasilkan urutan satu token pada satu waktu, yang terbukti sangat skalabel melalui pelatihan paralel dengan menggunakan teacher forcing.

Namun, autoregresi bukan satu-satunya pendekatan generatif iteratif—peneliti telah mengeksplorasi difusi untuk generasi bahasa dengan membalikkan proses korupsi yang secara bertahap menghancurkan informasi. Model difusi diskrit awal muncul pada tahun 2021, menggantikan korupsi kontinu dengan metode diskrit untuk menangani data kategoris. Pada tahun 2022, difusi kontinu untuk data diskrit mulai populer dengan pendekatan seperti Diffusion-LM, yang mewakili kategori diskrit dengan vektor embedding kontinu yang rentan terhadap korupsi noise Gaussian, sehingga memungkinkan penerapan mekanisme difusi Gaussian yang mapan tanpa modifikasi pada algoritma inti.