Unsloth lançou Dynamic v3.0 GGUFs, oferecendo mais de 10% de precisão top-1% melhor comparado a outros fornecedores do mesmo tamanho de modelo. Os novos quanta Qwen3.8-27B Dynamic v3.0 funcionam com a maioria dos mecanismos de inferência, incluindo llama.cpp e Unsloth Desktop.
A metodologia utiliza conjuntos de dados de calibração imatrix de maior qualidade, refinados para desempenho em codificação agente, bate-papo e multilíngue. As melhorias incluem melhor seleção de camadas e técnicas adicionais de quantização para preservar a qualidade do modelo. A equipe não utiliza QAT ou QAD, dependendo puramente de quantização pós-treinamento.
Notavelmente, 5,1 milhões de downloads foram registrados em apenas 5 dias. Os quanta menores sob UD-Q2_K_XL (8,37GB e abaixo) removeram o módulo MTP para economizar cerca de 500MB de espaço em disco. O quanta UD-IQ1_S de 1 bit é de 6,2GB mantendo aproximadamente 72% de precisão top-1%.
A equipe também introduziu Divergence-300 @32 como uma métrica mais eficaz usando 300 exemplos reservados para decodificação greedy argmax sobre 32 tokens. Isso mede a divergência de KL para melhor avaliar o overfitting e a similaridade de saída com as bases de BF16. Os resultados mostram que os quanta UD-3 alcançam até 10% adicionais de precisão top-1% em todos os níveis, especialmente em tamanhos de quanta menores.
Entidades-chave: Empresas: Unsloth
Fonte: Hacker News · Resumido por HeadlinesBriefing