El equipo Diffusion Gemma presenta Diffusion Gemma, un modelo de lenguaje experimental de pesos abiertos que aprovecha la difusión discreta para una generación de texto rápida. A diferencia de los modelos autorregresivos tradicionales, refina bloques de 256 tokens en paralelo, evitando cuellos de botella en la decodificación secuencial.
Ajustado finamente del modelo de mezcla de expertos Gemma 4 (3.8B activados, 25.2B parámetros totales), Diffusion Gemma utiliza un pipeline de entrenamiento de dos etapas que requiere menos del 10% del presupuesto de tokens del modelo original. La primera etapa emplea ajuste fino supervisado para la desnoising bidireccional, mientras que la segunda etapa combina aprendizaje por refuerzo con destilación de muestreadores.
Las evaluaciones muestran que Diffusion Gemma genera aproximadamente 20 tokens por pase hacia adelante y alcanza 1,500 tokens de salida por segundo en una sola GPU NVIDIA H100, superando a los modelos autorregresivos incluso con decodificación especulativa. Preserva las capacidades de Gemma, incluyendo modo de pensamiento, entradas multimodales y contextos largos, manteniendo la compatibilidad con generación AR. Esto establece un nuevo frente de Pareto para el equilibrio entre velocidad y capacabilidad.
Entidades clave: Personas: Adrien Ali Taïga, James Assiene, Daniele Calandriello, Rahma Chaabouni, João Gante
Fuente: Hacker News · Resumido por HeadlinesBriefing