HeadlinesBriefing favicon HeadlinesBriefing.com

Slotstream が低メモリ Mac で Qwen3.8-Flash-Next を実行

Hacker News •
×

Slotstream は、モデル エキスパートを SSD からストリーミングすることで、1250 億パラメータの Qwen3.8-Flash-Next 混合エキスパートモデルを、メモリ制限のある Mac で実行可能にします。このモデルは 4 ビット精度でディスク上 104 GB を必要としますが、MLX と Swift を通じてそのごく一部のメモリのみを使用して実行されます。Ollama 互換の API を提供し、Python 依存なしの単一 Swift バイナリとして配布されます。48 GB の M5 Pro では、自動モードでピーク メモリ使用量 32 GB で約 12 トークン/秒を達成します。最小要件は Apple Silicon、macOS 14+、約 110 GB の空きディスク容量で、512 GB の Mac が現実的なベースラインです。ツールには、さまざまな RAM 構成でのパフォーマンスをシミュレートする「ドクター」モードが含まれます。インストールはワンラインのシェル スクリプトで行い、初回使用時に重みがダウンロードされ、SHA-256 ハッシュによる整合性チェックが行われます。プル操作は複数の TCP 接続を使用して高速転送を実現し、中断しても再開可能なダウンロードにより安全です。今後の作業には、推測的デコーディングのための MTP モジュールの実装が含まれます。