A equipe Diffusion Gemma apresenta Diffusion Gemma, um modelo de linguagem experimental de pesos abertos que utiliza difusão discreta para geração rápida de texto. Ao contrário dos modelos autoregressivos tradicionais, refina blocos de 256 tokens em paralelo, evitando gargalos de decodificação sequencial.
Ajustado finamente do modelo de mistura de especialistas Gemma 4 (3.8B ativados, 25.2B parâmetros totais), Diffusion Gemma usa um pipeline de treinamento de duas etapas que requer menos de 10% do orçamento de tokens do modelo original. A primeira etapa emprega ajuste fino supervisionado para denoising bidirecional, enquanto a segunda etapa combina aprendizado por reforço com destilação de amostradores.
Avaliações mostram que Diffusion Gemma gera aproximadamente 20 tokens por passagem direta e atinge 1,500 tokens de saída por segundo em uma única GPU NVIDIA H100, superando modelos autoregressivos mesmo com decodificação especulativa. Ele preserva as capacidades de Gemma, incluindo modo de pensamento, entradas multimodais e contextos longos, mantendo a compatibilidade com geração AR. Isso estabelece um novo front de Pareto para compromissos entre velocidade e capacidade.
Entidades-chave: Pessoas: Adrien Ali Taïga, James Assiene, Daniele Calandriello, Rahma Chaabouni, João Gante
Fonte: Hacker News · Resumido por HeadlinesBriefing