言語のための連続拡散モデルにおける最近の活動は、このアプローチが何年もの沈黙の後に復活していることを示唆しています。完全な離散拡散手法は、以前の連続拡散の試みをほぼ置き換えていましたが、その流れが変わり始めています。現代の言語モデルは主に自己回帰的で、1つのトークンずつシーケンスを生成し、教師強制による並列学習を通じて非常にスケーラブルであることが証明されています。しかし、自己回帰は唯一の反復的生成手法ではなく、研究者は情報を徐々に破壊する腐食プロセスを逆転させることで、言語生成における拡散を探索しました。2021年に最初の離散拡散モデルが登場し、連続的な腐食を離散的な手法に置き換えてカテゴリカルデータを処理しました。2022年、離散データに対する連続拡散は、Diffusion-LMのような手法で勢いを増しました。この手法は、連続的な埋め込みベクトルを使用して離散カテゴリを表現し、ガウスノイズによる腐食にさらされやすくすることで、確立されたガウス拡散メカニズムを核心アルゴリズムの変更なしに適用できるようにしました。