HeadlinesBriefing favicon HeadlinesBriefing.com

كمّية Qwen3.8 27B بـ4 بت

Hacker News •
×

تُظهر اختبارات كمّية Qwen3.8 27B أن Q4_K_M بـ4 بت (17 GB) يساوي أداء BF16 الكامل في Terminal-Bench 2.1 وGPQA Diamond، ويحتمل في GPU بسعة 24 GB مثل RTX 4090 مع مساحة لـ64k token من السياق. يسجل UD-Q2_K_XL بـ2 بت (10.7 GB) انخفاضات طفيفة، بينما ينهار UD-IQ1_S بـ1 بت (6.2 GB) ليصل إلىChance على GPQA Diamond. يؤثر مستوى الجهد (xhigh الافتراضي) تأثيراً كبيراً في النتائج، ويتطلب أفضل النتائج نحو 8k token من التفكير. لا يُظهر IFBench أي تغيير عند النزول إلى 2 بت. استُخدمت كمّيات Unsloth في اختبارات على GPUs من Modal (تكلفة نحو $3,000)، مع إعادة إنتاج نتائج Qwen الرسمية. تبلغ الكمية المنضغوطة نقطة انهيار عند 1 بت، حيث يؤدي التفكير الأطول إلى تدهور الأداء. يظل Q4_K_M الخيار الأنسب للأجهزة الاستهلاكية من دون خسارة واضحة في الجودة على المقاييس الأساسية.