Diffusion Gemmaチームは、Diffusion Gemmaを紹介します。これは、離散拡散を活用した実験的なオープンウェイト言語モデルであり、高速なテキスト生成を可能にします。従来の自己回帰モデルとは異なり、256トークンのブロックを並行して細定し、逐次的なデコーディングのボトルネックを回避します。
専門家混合モデルGemma 4（3.8Bアクティベート、25.2B総パラメータ）からファインチューニングされたDiffusion Gemmaは、元のモデルのトークン予算の10%未満しか必要としない2段階トレーニングパイプラインを使用します。第1段階では双方向ノイズ除去のための教師ありファインチューニングを採用し、第2段階では強化学習とサンプラーの蒸留を組み合わせます。
評価によると、Diffusion Gemmaは1回のフォワードパスで約20トークンを生成し、単一のNVIDIA H100GPUで1,500出力トークン/秒に達し、最先端の推測的デコーディング技術を使用しても自己回帰モデルを上回ります。思考モード、マルチモーダル入力、長いコンテキストを含むGemmaの能力を保持しながら、AR生成の互換性を維持します。これにより、速度と能力のトレードオフに関する新しいパレート境界が確立されます。
主要エンティティ：人物：Adrien Ali Taïga, James Assiene, Daniele Calandriello, Rahma Chaabouni, João Gante
出典: Hacker News · 要約：HeadlinesBriefing