HeadlinesBriefing favicon HeadlinesBriefing.com

Qwen 3.8 27BがCerebrasで1500トークン/秒

Hacker News •
×

Qwen 3.8 27BがCerebrasの公開エンドポイントで利用可能になり、1500トークン/秒のスループットを提供します。これらのエンドポイントは、無料トライアルと従量課金制のティアでアクセスでき、レート制限と価格設定の対象となります。専用容量と本番SLAには、Cerebrasは専用エンドポイントを提供します。

Cerebrasの公開エンドポイント上のすべてのモデルは、オリジナルの未剪定バージョンです。プラットフォームは共有APIで剪定モデルをホストしません。CerebrasはREAP(ルーター加重エキスパート活性化剪定)などの剪定技術を研究していますが、これらの剪定モデルは研究用にHugging Faceで共有され、APIを通じて提供されることはありません。

Cerebrasは品質を維持するために、保存時に選択的な重みのみの量子化を使用します。重みは部分的な16ビット/8ビット/4ビット形式で保存され、敏感な層は完全な精度で維持され、オンザフライで逆量子化されます。アクティベーション、アテンション、KVキャッシュは完全な精度で非量子化のままです。

Cerebrasはアーキテクチャの変更なしにオリジナルモデルを提供することを約束します。将来の圧縮技術は、特定の名前を持つ別のエンドポイントとして提供されるでしょう。REAP剪定モデルは研究用にHugging Faceで利用可能ですが、本番では利用できません。

主要エンティティ:企業:Cerebras、Hugging Face