Команда Diffusion Gemma представляет Diffusion Gemma — экспериментальную модель языка с открытыми весами, использующую дискретную диффузию для быстрого создания текста. В отличие от традиционных автокоррелирующих моделей, она параллельно уточняет блоки из 256 токенов, обходя узкие места последовательного декодирования.
Дообученная на основе модели смешанных экспертов Gemma 4 (3.8B активных, 25.2B общих параметров), Diffusion Gemma использует двухэтапный конвейер обучения, требующий менее 10% бюджета токенов исходной модели. Первая стадия использует контролируемое дообучение для двунаправленного удаления шума, тогда как вторая стадия сочетает обучение с подкреплением и дистилляцию сэмплеров.
Оценки показывают, что Diffusion Gemma генерирует около 20 токенов за один прямой проход и достигает 1 500 выходных токенов в секунду на одной видеокарте NVIDIA H100, опережая автокоррелирующие модели даже при спекулятивном декодировании. Она сохраняет возможности Gemma, включая режим мышления, мультимодальные входные данные и длинные контексты, поддерживая при этом совместимость с генерацией AR. Это устанавливает новую Парето-границу для компромиссов между скоростью и возможностями.
Ключевые сущности: Люди: Adrien Ali Taïga, James Assiene, Daniele Calandriello, Rahma Chaabouni, João Gante
Источник: Hacker News · Сводку подготовил HeadlinesBriefing