Hari ini dua keluarga algoritma AI generatif yang mendominasi: model difusi untuk data kontinu seperti gambar, dan model otoriteratif untuk data diskrit seperti teks. Model difusi menghasilkan seluruh urutan sekaligus, mulai dari draft kasar dan memperbaiki setiap posisi secara paralel dalam beberapa siklus. Pendekatan ini memungkinkan keseimbangan antara kecepatan dan kualitas, koreksi kesalahan bawaan, dan konteks bidireksional. Model otoriteratif menghasilkan token satu per satu dari kiri ke kanan, membutuhkan sebanyak token yang ada langkah. Model bahasa difusi di sisi lain mulai dari draft penuh dan menulis ulang seluruh urutan pada setiap langkah. Aplikasi difusi pada bahasa adalah masalah terbuka hingga 2024, tetapi model difusi menjadi kompetitif dengan model otoriteratif pada kualitas. Pada 2026, model bahasa difusi adalah realitas, dengan rilis dari laboratorium industri utama termasuk Mercury 2 (Inception Labs), Gemma Diffusion (Google), dan Nemotron Diffusion (NVIDIA). Konsep inti model difusi adalah denoising: menghasilkan gambar langkah demi langkah mulai dari noise semurnya dan menghilangkan sedikit noise pada setiap langkah hingga gambar yang jelas muncul. Proses maju mengubah gambar bersih menjadi gambar yang semakin berisik. Proses mundur belajar mengubah transformasi ini secara balik, mengubah noise menjadi gambar.

Model difusi belajar denoising dengan melatih pada contoh noise yang bertahap berubah menjadi gambar. Proses maju menambahkan noise ke gambar bersih satu langkah kapan pun, sementara proses mundur belajar mengubah transformasi ini secara balik. Pendekatan dua tahap ini membuat model difusi sangat efektif untuk generasi.

Model bahasa difusi modern berdasar pada prinsip-prinsip inti ini, disesuaikan untuk data diskrit seperti teks.

Entitas utama: Perusahaan: Inception Labs, Google, NVIDIA