Unsloth ha lanzado Dynamic v3.0 GGUFs, ofreciendo más del 10% de precisión top-1% mejor comparado con otros proveedores del mismo tamaño de modelo. Los nuevos cuantos Qwen3.8-27B Dynamic v3.0 funcionan con la mayoría de motores de inferencia, incluyendo llama.cpp y Unsloth Desktop.
La metodología utiliza conjuntos de datos de calibración imatrix de mayor calidad, refinados para rendimiento en codificación agentica, chat y multilingüe. Las mejoras incluyen una mejor selección de capas y técnicas de cuantización adicionales para preservar la calidad del modelo. El equipo no utiliza QAT o QAD, dependiendo únicamente de la cuantización posterior al entrenamiento.
Cabe destacar que se registraron 5.1 millones de descargas en solo 5 días. Los cuantos más pequeños bajo UD-Q2_K_XL (8.37GB y menos) han eliminado el módulo MTP para ahorrar alrededor de 500MB de espacio en disco. El cuanto UD-IQ1_S de 1 bit pesa 6.2GB manteniendo aproximadamente el 72% de precisión top-1%.
El equipo también introdujo Divergence-300 @32 como una métrica más efectiva que utiliza 300 ejemplos reservados para decodificación greedy argmax sobre 32 tokens. Esto mide la divergencia de KL para evaluar mejor el sobreajuste y la similitud de salida con las bases de BF16. Los resultados muestran que los cuantos UD-3 alcanzan hasta un 10% adicional de precisión top-1% en todos los niveles, especialmente en tamaños de cuanto más pequeños.
Entidades clave: Empresas: Unsloth
Fuente: Hacker News · Resumido por HeadlinesBriefing