Das Diffusion Gemma-Team stellt Diffusion Gemma vor, ein experimentelles Open-Weight-Sprachmodell, das diskrete Diffusion für schnelles Textgenerieren nutzt. Im Gegensatz zu traditionellen autoregressiven Modellen verfeinert es Blöcke von 256 Token parallel und umgeht Engpässe bei der sequenziellen Decodierung.
Feinsortiert vom Modell für Expertenmischung Gemma 4 (3.8B aktiviert, 25.2B Gesamtparameter), verwendet Diffusion Gemma eine zweistufige Trainingspipeline, die weniger als 10% des Token-Budgets des Originalmodells erfordert. Die erste Stufe verwendet überwachtes Fein-Tuning für bidirektionales Entrauschen, während die zweite Stufe maschinelles Lernen mit Sampler-Distillation kombiniert.
Bewertungen zeigen, dass Diffusion Gemma etwa 20 Token pro Forward-Pass generiert und 1,500 Ausgabetoken pro Sekunde auf einer einzigen NVIDIA H100-GPU erreicht, was selbst bei spekulativer Decodierung autoregressive Modelle übertroffen wird. Es bewahrt die Fähigkeiten von Gemma, einschließlich des Denkmodus, multimodaler Eingaben und langer Kontexte, während es die Kompatibilität mit AR-Generierung aufrechterhält. Dies etabliert eine neue Pareto-Front für Geschwindigkeits- und Leistungshandels.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing