Diffusion Gemma团队推出了Diffusion Gemma，一款实验性开源语言模型，利用离散扩散技术实现快速文本生成。与传统的自回归模型不同，它并行细化256个标记块，绕过顺序解码瓶颈。
基于Gemma 4专家混合模型（激活参数38亿，总参数252亿）进行微调，Diffusion Gemma使用两阶段训练流程，仅需不到原始模型10%的标记预算。第一阶段采用监督微调进行双向去噪，第二阶段结合强化学习与采样器蒸馏。
评估显示，Diffusion Gemma每次前向传播生成约20个标记，并在单块NVIDIA H100GPU上达到1500个输出标记/秒，即使与最先进的推测性解码技术相比，也优于自回归模型。它保留了Gemma的能力，包括思考模式、多模态输入和长上下文，同时保持AR生成兼容性。这为速度与能力之间的权衡建立了一个新的帕累托前沿。
关键实体：人员：Adrien Ali Taïga，James Assiene，Daniele Calandriello，Rahma Chaabouni，João Gante
来源: Hacker News · 由HeadlinesBriefing整理摘要