HeadlinesBriefing favicon HeadlinesBriefing.com

Qwen3.8 27B の4ビット量子化

Hacker News •
×

Qwen3.8 27B の量子化ベンチマークでは、4ビット Q4_K_M(17 GB)が Terminal-Bench 2.1 と GPQA Diamond で完全な BF16 と同等の性能を示し、RTX 4090 などの 24 GB GPU に 64k コンテキストトークン分の余裕を残して収まります。2ビット UD-Q2_K_XL(10.7 GB)ではわずかな低下が見られますが、1ビット UD-IQ1_S(6.2 GB)は GPQA Diamond でランダムな正答率まで低下します。努力レベル(既定値は xhigh)はスコアに大きく影響し、最良の結果には約 8k の推論トークンが必要です。IFBench では 2ビットまで下げてもしばらく変化はありません。テストでは Modal GPU 上の Unsloth 量子化(コストは約 3,000 ドル)を使用し、公式の Qwen 結果を再現しました。圧縮は 1ビットで崖のように性能が落ち、推論を長くするとパフォーマンスが悪化します。Q4_K_M は、主要なベンチマークで目立つ品質低下なく、消費者向けハードウェアに適した最適な選択肢です。