Unsloth hat Dynamic v3.0 GGUFs veröffentlicht und bietet mehr als 10% bessere top-1%-Genauigkeit im Vergleich zu anderen Anbietern bei gleicher Modellgröße. Die neuen Qwen3.8-27B Dynamic v3.0-Quants funktionieren mit den meisten Inferenz-Engines, einschließlich llama.cpp und Unsloth Desktop.
Die Methodik verwendet hochwertigere imatrix-Kalibrierungsdatensätze, die für agentisches Codieren, Chat und mehrsprachige Leistung optimiert wurden. Verbesserungen umfassen eine bessere Schichtauswahl und zusätzliche Quantisierungstechniken zur Erhaltung der Modellqualität. Das Team verwendet kein QAT oder QAD, sondern verlässt sich rein auf Post-Training-Quantisierung.
Bemerkenswert ist, dass in nur 5 Tagen 5,1 Millionen Downloads registriert wurden. Kleinere Quants unter UD-Q2_K_XL (8,37 GB und kleiner) haben das MTP-Modul entfernt, um etwa 500 MB Speicherplatz zu sparen. Der 1-Bit-Quant UD-IQ1_S ist 6,2 GB groß und behält dabei etwa 72% der top-1%-Genauigkeit bei.
Das Team hat auch Divergence-300 @32 als eine effektivere Metrik vorgestellt, die 300 reservierte Beispiele für gierige Argmax-Decodierung über 32 Token verwendet. Dies misst die KL-Divergenz, um Überanpassung und die Ausgabesimilarität zu BF16-Baselines besser zu bewerten. Die Ergebnisse zeigen, dass UD-3-Quants auf allen Ebenen bis zu 10% zusätzliche top-1%-Genauigkeit erreichen, insbesondere bei kleineren Quantgrößen.
Wichtige Entitäten: Unternehmen: Unsloth
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing