Metaは、Appleと協力して大規模なAIモデル「Muse Spark Open」をM5 Ultra搭載のMac Studioで動作させ、開発者がクラウドサーバーに頼ることなく高度なAIをローカルで実行できるようにしました。10月15日に発表されたMuse Spark Openは、オープンウェイトのAIモデルで、コーディング、ソフトウェアエンジニアリング、複数のステップを要するタスク向けに設計されています。Metaはこのモデルを8,160億パラメータで開発しましたが、処理中に実際に稼働するのは420億パラメータのみです。
このモデルを動作させるには、それぞれ512GBのユニファイドメモリを搭載したM5 Ultra Mac Studioが少なくとも2台、または256GBの構成の機材が4台必要です。これらのハードウェアは、Appleが最近刷新したMac Studioに搭載されたものです。4台構成はすでに利用可能ですが、Appleの512GBオプションの出荷は10月下旬以降になる見込みです。この取り組みは、CPUとGPUが同じメモリプールにアクセスできるAppleのユニファイドメモリアーキテクチャを活用しています。ただし、それほど大容量のメモリがあっても、1台のマシンでMuse Spark Openを動かすには足りません。圧縮されたモデルの重みだけで、処理に必要な追加メモリを含める前に約493GBを占有するためです。
オープンソースのMLXフレームワークは、複数のMac間で処理を分散させます。これらのマシンはThunderbolt 5とリモートダイレクトメモリアクセス（RDMA）を使って通信します。Appleのベンチマークでは、8,192トークンのコンテキストで、4台のM5 Ultra Mac Studioが毎秒36トークンを超える速度で応答を生成しました。実際の性能はワークロードやコンテキストの長さによって異なりますが、実用的な速度で応答できることが示されています。
Metaは、このモデルがローカルのハードウェアだけで複数の複雑なワークフローを処理できることを実証しました。同社の開発ツールMuse Codeを使い、モデルはiOS向けのオープンソースMastodonクライアント「Ice Cubes」を修正し、バグを直し、機能を追加して、ビルドを完了させました。別のデモでは、Muse Spark OpenがDa Vinci Resolveを操作し、動画素材を確認して有用な部分を見つけ、縦型クリップに切り出す様子が示されました。これらのデモは特定のタスクを完了できることを示していますが、他のワークフローでモデルがどれほど確実に動作するかまでは明らかにしていません。
出典: AppleInsider · 要約：HeadlinesBriefing