Unsloth выпустил Dynamic v3.0 GGUFs, обеспечивая более чем на 10% лучшую точность top-1% по сравнению с другими поставщиками при одинаковом размере модели. Новые кванты Qwen3.8-27B Dynamic v3.0 работают с большинством движков инференса, включая llama.cpp и Unsloth Desktop.
Методология использует более качественные наборы данных калибровки imatrix, доработанные для агентного кодирования, чата и многократного языка. Улучшения включают более эффективный выбор слоев и дополнительные методы квантизации для сохранения качества модели. Команда не использует QAT или QAD, полагаясь чисто на посттренировочную квантизацию.
Примечательно, что за 5 дней было зафиксировано 5,1 миллиона загрузок. Меньшие кванты под UD-Q2_K_XL (8.37 ГБ и меньше) удалили модуль MTP для экономии около 500 МБ дискового пространства. Квант UD-IQ1_S на 1 бит занимает 6.2 ГБ, сохраняя при этом около 72% точности top-1%.
Команда также представила Divergence-300 @32 как более эффективную метрику, использующую 300 зарезервированных примеров для жадного argmax декодирования на 32 токена. Это измеряет KL-дивергенцию для лучшей оценки переобучения и сходства вывода с эталонами BF16. Результаты показывают, что кванты UD-3 достигают до 10% дополнительной точности top-1% на всех уровнях, особенно на меньших размерах квантов.
Ключевые сущности: Компании: Unsloth
Источник: Hacker News · Сводку подготовил HeadlinesBriefing