研究者や開発者は、Apple silicon向けのオープンソース配列フレームワーク「MLX」を使い、フロンティア級の大規模言語モデルを自分のハードウェア上で非公開に試せるようになりました。このフレームワークはApple siliconの統一メモリアーキテクチャを活用し、誰でも新しい推論やファインチューニングの手法をローカルで実行できます。
最新のMLXリリースにより、ほぼ1兆パラメータを持つモデルMuse Spark Openを、デスク上の環境から実行できるようになりました。Mac Studio 4台のクラスタでは、このモデルは毎秒36トークン以上を生成し、人間の平均的な読書速度をはるかに上回ります。実行は最大512GBの統一メモリを搭載した1台のMac Studioから始まり、RDMA over Thunderboltドライバにより複数のMacへ拡張できます。
ベンチマークでは、2世代のMac Studio、M5 Ultraと前世代のM3 Ultraを比較しました。M5世代にはGPUのNeural Acceleratorが搭載されており、多くの機械学習処理に欠かせない専用の行列乗算をサポートします。テストしたモデルは、Muse Spark Open（816Bパラメータ）、Mistral Medium 3.5（128B）、Qwen 3.8（27B）の3つです。8,192トークンと65,536トークンのコンテキストサイズで、最初のトークンまでの時間、生成スループット、ピーク消費電力を測定しました。
エージェント型コーディングや、その他のプライベートなエージェントベースのアプリケーションでは大きなコンテキストが必要になることが多いため、テストはそうした処理負荷に焦点を当てています。Qwen 3.8とMistral Medium 3.5は、512GBのMac Studio 1台に余裕を持って収まり、大きなコンテキストサイズではそれぞれ最大68GBと158GBのRAMを使用します。最初のトークンまでの時間は主に演算能力に依存し、そこでM5 UltraのNeural Acceleratorが最も明確な利点をもたらします。
出典: Hacker News · 要約：HeadlinesBriefing