L'équipe Diffusion Gemma présente Diffusion Gemma, un modèle de langage expérimental à poids ouverts exploitant la diffusion discrète pour une génération de texte rapide. Contrairement aux modèles autoregressifs traditionnels, il affine des blocs de 256 tokens en parallèle, contournant les goulots d'étranglement de la décodification séquentielle.
Affiné à partir du modèle de mélange d'experts Gemma 4 (3.8B activés, 25.2B paramètres au total), Diffusion Gemma utilise un pipeline d'entraînement à deux étapes nécessitant moins de 10% du budget de tokens du modèle original. La première étape emploie un ajustement fin supervisé pour le débruitage bidirectionnel, tandis que la deuxième étape combine l'apprentissage par renforcement avec la distillation des échantillonneurs.
Les évaluations montrent que Diffusion Gemma génère environ 20 tokens par passe avant et atteint 1,500 tokens de sortie par seconde sur une seule GPU NVIDIA H100, surpassant les modèles autoregressifs même avec le décodage spéculatif. Il préserve les capacités de Gemma, y compris le mode de réflexion, les entrées multimodales et les longs contextes, tout en maintenant la compatibilité avec la génération AR. Cela établit un nouveau front de Pareto pour les compromis entre vitesse et capacité.
Entités clés : Personnes : Adrien Ali Taïga, James Assiene, Daniele Calandriello, Rahma Chaabouni, João Gante
Source: Hacker News · Résumé par HeadlinesBriefing