Apple ML Research: Muse Spark Open with MLX on Mac Studio

Researchers and developers can now experiment with frontier-class large language models privately on their own hardware using MLX, the open-source array framework for Apple silicon. The framework takes advantage of the unified memory architecture of Apple silicon, allowing anyone to run new inference and fine-tuning methods locally.

The latest MLX release makes it possible to run Muse Spark Open, a model with nearly a trillion parameters, from a desk setup. On a cluster of four Mac Studios, the model generates over 36 tokens per second, well above average human reading speed. Scaling begins on a single Mac Studio with up to 512GB of unified memory and extends across multiple Macs using the RDMA over Thunderbolt driver.

The benchmarks compare two generations of Mac Studio, the M5 Ultra and the previous M3 Ultra. The M5 generation includes a GPU Neural Accelerator that supports dedicated matrix multiplication, a capability essential for many machine learning workloads. Three models were tested: Muse Spark Open (816B parameters), Mistral Medium 3.5 (128B), and Qwen 3.8 (27B). Performance was measured for time to first token, generation throughput, and peak power usage across context sizes of 8,192 and 65,536 tokens.

Agentic coding and other private, agent-based applications often require large contexts, so the tests focus on those workloads. Qwen 3.8 and Mistral Medium 3.5 fit comfortably on a single 512GB Mac Studio, using up to 68GB and 158GB of RAM respectively at the larger context size. Time to first token is largely compute bound, which is where the M5 Ultra's Neural Accelerators provide their clearest advantage.

يمكن للباحثين والمطورين الآن تجربة نماذج اللغة الكبيرة من الطراز الرائد بشكل خاص على أجهزتهم الخاصة باستخدام MLX، وهو إطار مصفوفات مفتوح المصدر لشرائح Apple. يستفيد الإطار من بنية الذاكرة الموحدة في شرائح Apple، مما يتيح لأي شخص تشغيل طرق الاستدلال والضبط الدقيق الجديدة محليًا.

يتيح الإصدار الأحدث من MLX تشغيل Muse Spark Open، وهو نموذج يقارب تريليون معامل، من إعداد مكتبي. وعلى مجموعة من أربعة أجهزة Mac Studio، يولّد النموذج أكثر من 36 رمزًا في الثانية، وهي سرعة تفوق بكثير متوسط سرعة القراءة البشرية. يبدأ التشغيل على جهاز Mac Studio واحد بذاكرة موحدة تصل إلى 512 غيغابايت، ثم يتوسع عبر عدة أجهزة Mac باستخدام برنامج تشغيل RDMA عبر Thunderbolt.

تقارن الاختبارات جيلين من Mac Studio، هما M5 Ultra وM3 Ultra السابق. يتضمن جيل M5 مُسرِّع الشبكات العصبية في وحدة معالجة الرسومات، الذي يدعم عمليات ضرب المصفوفات المخصصة، وهي قدرة أساسية للكثير من أحمال عمل تعلم الآلة. وتم اختبار ثلاثة نماذج: Muse Spark Open (816 مليار معامل) وMistral Medium 3.5 (128 مليار) وQwen 3.8 (27 مليار). وقيس زمن الرمز الأول وإنتاجية التوليد وذروة استهلاك الطاقة عبر أحجام سياق تبلغ 8,192 و65,536 رمزًا.

غالبًا ما تتطلب البرمجة الوكيلة والتطبيقات الخاصة القائمة على الوكلاء سياقات كبيرة، ولذلك تركز الاختبارات على هذه الأحمال. يتسع Qwen 3.8 وMistral Medium 3.5 بسهولة على جهاز Mac Studio واحد بذاكرة 512 غيغابايت، ويستهلكان حتى 68 غيغابايت و158 غيغابايت من الذاكرة على التوالي عند حجم السياق الأكبر. ويتقيد زمن الرمز الأول إلى حد كبير بقدرة الحوسبة، وهنا تظهر أوضح مزايا مُسرِّعات الشبكات العصبية في M5 Ultra.

গবেষক ও ডেভেলপাররা এখন MLX ব্যবহার করে নিজেদের হার্ডওয়্যারে ফ্রন্টিয়ার-ক্লাস বড় ভাষা মডেল ব্যক্তিগতভাবে পরীক্ষা করতে পারেন। MLX হলো Apple silicon-এর জন্য একটি ওপেন-সোর্স অ্যারে ফ্রেমওয়ার্ক। এই ফ্রেমওয়ার্ক Apple silicon-এর ইউনিফাইড মেমরি আর্কিটেকচারের সুবিধা নেয়, যাতে যে কেউ নতুন ইনফারেন্স ও ফাইন-টিউনিং পদ্ধতি স্থানীয়ভাবে চালাতে পারে।

সর্বশেষ MLX রিলিজের মাধ্যমে একটি ডেস্ক সেটআপ থেকেই Muse Spark Open চালানো সম্ভব, যার প্রায় এক ট্রিলিয়ন প্যারামিটার রয়েছে। চারটি Mac Studio-র একটি ক্লাস্টারে মডেলটি প্রতি সেকেন্ডে ৩৬টির বেশি টোকেন তৈরি করে, যা মানুষের গড় পড়ার গতির চেয়ে অনেক বেশি। একটি Mac Studio থেকে শুরু হয়, যেখানে সর্বোচ্চ ৫১২GB ইউনিফাইড মেমরি থাকতে পারে, এবং RDMA over Thunderbolt ড্রাইভারের মাধ্যমে একাধিক Mac-এ বিস্তৃত হয়।

বেঞ্চমার্কে দুই প্রজন্মের Mac Studio তুলনা করা হয়েছে: M5 Ultra এবং আগের প্রজন্মের M3 Ultra। M5 প্রজন্মে GPU Neural Accelerator রয়েছে, যা নির্দিষ্ট ম্যাট্রিক্স গুণনকে সমর্থন করে এবং অনেক মেশিন লার্নিং কাজের জন্য অপরিহার্য। তিনটি মডেল পরীক্ষা করা হয়েছে: Muse Spark Open (৮১৬B প্যারামিটার), Mistral Medium 3.5 (১২৮B) এবং Qwen 3.8 (২৭B)। ৮,১৯২ ও ৬৫,৫৩৬ টোকেনের কনটেক্সট সাইজে প্রথম টোকেন পাওয়ার সময়, জেনারেশন থ্রুপুট ও সর্বোচ্চ বিদ্যুৎ ব্যবহার পরিমাপ করা হয়েছে।

এজেন্টিক কোডিং এবং অন্যান্য ব্যক্তিগত, এজেন্ট-ভিত্তিক অ্যাপ্লিকেশনে প্রায়ই বড় কনটেক্সট প্রয়োজন হয়, তাই পরীক্ষাগুলো এই ধরনের কাজের ওপর কেন্দ্রীভূত। বড় কনটেক্সট সাইজে Qwen 3.8 ও Mistral Medium 3.5 একটি 512GB Mac Studio-তে সহজেই চলে, যথাক্রমে সর্বোচ্চ ৬৮GB ও ১৫৮GB RAM ব্যবহার করে। প্রথম টোকেন পাওয়ার সময় মূলত কম্পিউট-বাউন্ড, এবং সেখানেই M5 Ultra-এর Neural Accelerator সবচেয়ে স্পষ্ট সুবিধা দেয়।

Forschende und Entwickler können nun mit MLX, dem Open-Source-Array-Framework für Apple silicon, große Sprachmodelle der Spitzenklasse privat auf eigener Hardware ausprobieren. Das Framework nutzt die einheitliche Speicherarchitektur von Apple silicon und ermöglicht es jedem, neue Inferenz- und Feinabstimmungsverfahren lokal auszuführen.

Mit der neuesten MLX-Version lässt sich Muse Spark Open, ein Modell mit knapp einer Billion Parametern, direkt vom Schreibtisch aus betreiben. Auf einem Cluster aus vier Mac Studios erzeugt das Modell mehr als 36 Token pro Sekunde und liegt damit deutlich über der durchschnittlichen menschlichen Lesegeschwindigkeit. Der Betrieb beginnt auf einem einzelnen Mac Studio mit bis zu 512 GB einheitlichem Speicher und lässt sich über den RDMA-over-Thunderbolt-Treiber auf mehrere Macs ausweiten.

Die Benchmarks vergleichen zwei Generationen des Mac Studio: den M5 Ultra und den vorherigen M3 Ultra. Die M5-Generation verfügt über einen GPU-Neural-Accelerator, der dedizierte Matrixmultiplikation unterstützt – eine für viele Workloads des maschinellen Lernens wesentliche Fähigkeit. Getestet wurden drei Modelle: Muse Spark Open (816 Mrd. Parameter), Mistral Medium 3.5 (128 Mrd.) und Qwen 3.8 (27 Mrd.). Gemessen wurden die Zeit bis zum ersten Token, der Generierungsdurchsatz und der Spitzenstromverbrauch bei Kontextgrößen von 8.192 und 65.536 Token.

Agentisches Programmieren und andere private, agentenbasierte Anwendungen benötigen häufig große Kontexte, weshalb sich die Tests auf solche Workloads konzentrieren. Qwen 3.8 und Mistral Medium 3.5 passen bequem auf einen einzelnen 512-GB-Mac-Studio und benötigen bei der größeren Kontextgröße bis zu 68 GB bzw. 158 GB RAM. Die Zeit bis zum ersten Token ist überwiegend rechenlimitiert – genau hier bieten die Neural Accelerators des M5 Ultra ihren deutlichsten Vorteil.

Investigadores y desarrolladores ya pueden experimentar en privado con modelos de lenguaje de gran tamaño de clase frontera en su propio hardware usando MLX, el framework de arrays de código abierto para Apple silicon. El framework aprovecha la arquitectura de memoria unificada de Apple silicon, lo que permite a cualquiera ejecutar localmente nuevos métodos de inferencia y ajuste fino.

La última versión de MLX hace posible ejecutar Muse Spark Open, un modelo con casi un billón de parámetros, desde una configuración de escritorio. En un clúster de cuatro Mac Studio, el modelo genera más de 36 tokens por segundo, muy por encima de la velocidad media de lectura humana. La ejecución comienza en un solo Mac Studio con hasta 512 GB de memoria unificada y se extiende a varios Mac mediante el controlador RDMA sobre Thunderbolt.

Las pruebas comparan dos generaciones de Mac Studio: el M5 Ultra y el anterior M3 Ultra. La generación M5 incluye un acelerador neuronal de GPU que admite multiplicación de matrices dedicada, una capacidad esencial para muchas cargas de trabajo de aprendizaje automático. Se probaron tres modelos: Muse Spark Open (816 000 millones de parámetros), Mistral Medium 3.5 (128 000 millones) y Qwen 3.8 (27 000 millones). Se midieron el tiempo hasta el primer token, el rendimiento de generación y el consumo máximo de energía con contextos de 8192 y 65 536 tokens.

La programación agéntica y otras aplicaciones privadas basadas en agentes suelen requerir contextos grandes, por lo que las pruebas se centran en esas cargas. Qwen 3.8 y Mistral Medium 3.5 caben cómodamente en un único Mac Studio de 512 GB, usando hasta 68 GB y 158 GB de RAM respectivamente con el contexto más grande. El tiempo hasta el primer token está limitado principalmente por el cómputo, que es donde los aceleradores neuronales del M5 Ultra ofrecen su ventaja más clara.

Chercheurs et développeurs peuvent désormais expérimenter en privé des grands modèles de langage de classe frontière sur leur propre matériel grâce à MLX, le framework de tableaux open source pour Apple silicon. Ce framework tire parti de l'architecture à mémoire unifiée d'Apple silicon, permettant à chacun d'exécuter localement de nouvelles méthodes d'inférence et de fine-tuning.

La dernière version de MLX permet d'exécuter Muse Spark Open, un modèle comptant près d'un trillion de paramètres, depuis un poste de travail. Sur un cluster de quatre Mac Studio, le modèle génère plus de 36 tokens par seconde, bien au-delà de la vitesse moyenne de lecture humaine. L'exécution commence sur un seul Mac Studio doté de jusqu'à 512 Go de mémoire unifiée, puis s'étend à plusieurs Mac grâce au pilote RDMA sur Thunderbolt.

Les benchmarks comparent deux générations de Mac Studio : le M5 Ultra et le M3 Ultra précédent. La génération M5 intègre un accélérateur neuronal GPU qui prend en charge la multiplication matricielle dédiée, une capacité essentielle pour de nombreuses charges de travail en apprentissage automatique. Trois modèles ont été testés : Muse Spark Open (816 milliards de paramètres), Mistral Medium 3.5 (128 milliards) et Qwen 3.8 (27 milliards). Le temps jusqu'au premier token, le débit de génération et la consommation électrique maximale ont été mesurés pour des contextes de 8 192 et 65 536 tokens.

Le codage agentique et d'autres applications privées fondées sur des agents nécessitent souvent de grands contextes, c'est pourquoi les tests se concentrent sur ces charges. Qwen 3.8 et Mistral Medium 3.5 tiennent sans difficulté sur un seul Mac Studio de 512 Go, en utilisant respectivement jusqu'à 68 Go et 158 Go de RAM pour le contexte le plus grand. Le temps jusqu'au premier token dépend largement de la puissance de calcul, et c'est là que les accélérateurs neuronaux du M5 Ultra offrent leur avantage le plus net.

शोधकर्ता और डेवलपर अब MLX के ज़रिए अपने ही हार्डवेयर पर फ्रंटियर-क्लास बड़े भाषा मॉडल निजी तौर पर आज़मा सकते हैं। MLX Apple silicon के लिए बना एक ओपन-सोर्स ऐरे फ्रेमवर्क है। यह फ्रेमवर्क Apple silicon की यूनिफाइड मेमोरी आर्किटेक्चर का लाभ उठाता है, जिससे कोई भी नई इन्फरेंस और फाइन-ट्यूनिंग विधियाँ स्थानीय रूप से चला सकता है।

नवीनतम MLX रिलीज़ से Muse Spark Open को एक डेस्क सेटअप से चलाना संभव है, जो लगभग एक ट्रिलियन पैरामीटर वाला मॉडल है। चार Mac Studio के क्लस्टर पर यह मॉडल प्रति सेकंड 36 से अधिक टोकन उत्पन्न करता है, जो मनुष्य की औसत पढ़ने की गति से कहीं अधिक है। यह काम 512GB तक यूनिफाइड मेमोरी वाले एक Mac Studio से शुरू होता है और RDMA over Thunderbolt ड्राइवर के ज़रिए कई Mac तक फैलता है।

बेंचमार्क में दो पीढ़ियों के Mac Studio की तुलना की गई है: M5 Ultra और पिछली पीढ़ी का M3 Ultra। M5 पीढ़ी में GPU Neural Accelerator है, जो समर्पित मैट्रिक्स गुणन को सपोर्ट करता है, जो कई मशीन लर्निंग कार्यभारों के लिए आवश्यक है। तीन मॉडल परखे गए: Muse Spark Open (816B पैरामीटर), Mistral Medium 3.5 (128B) और Qwen 3.8 (27B)। 8,192 और 65,536 टोकन के संदर्भ आकार पर पहले टोकन का समय, जनरेशन थ्रूपुट और अधिकतम पावर उपयोग मापा गया।

एजेंटिक कोडिंग और अन्य निजी, एजेंट-आधारित अनुप्रयोगों को अक्सर बड़े संदर्भों की ज़रूरत होती है, इसलिए परीक्षण इन्हीं कार्यभारों पर केंद्रित हैं। Qwen 3.8 और Mistral Medium 3.5 एक 512GB Mac Studio पर आराम से समा जाते हैं, और बड़े संदर्भ आकार पर क्रमशः अधिकतम 68GB और 158GB RAM का उपयोग करते हैं। पहले टोकन का समय मुख्यतः कंप्यूट-बाउंड है, और यहीं M5 Ultra के Neural Accelerators का सबसे स्पष्ट लाभ दिखता है।

Peneliti dan pengembang kini dapat bereksperimen secara privat dengan model bahasa besar kelas terdepan di perangkat keras mereka sendiri menggunakan MLX, framework array open-source untuk Apple silicon. Framework ini memanfaatkan arsitektur memori terpadu pada Apple silicon, sehingga siapa pun dapat menjalankan metode inferensi dan fine-tuning baru secara lokal.

Rilis MLX terbaru memungkinkan Muse Spark Open, model dengan hampir satu triliun parameter, dijalankan dari meja kerja. Pada klaster empat Mac Studio, model ini menghasilkan lebih dari 36 token per detik, jauh di atas kecepatan membaca rata-rata manusia. Eksekusi dimulai pada satu Mac Studio dengan memori terpadu hingga 512GB, lalu diskalakan ke beberapa Mac menggunakan driver RDMA over Thunderbolt.

Benchmark membandingkan dua generasi Mac Studio, yaitu M5 Ultra dan M3 Ultra generasi sebelumnya. Generasi M5 menyertakan GPU Neural Accelerator yang mendukung perkalian matriks khusus, kemampuan yang penting untuk banyak beban kerja machine learning. Tiga model diuji: Muse Spark Open (816 miliar parameter), Mistral Medium 3.5 (128 miliar), dan Qwen 3.8 (27 miliar). Waktu hingga token pertama, throughput generasi, dan puncak konsumsi daya diukur pada ukuran konteks 8.192 dan 65.536 token.

Agentic coding dan aplikasi privat berbasis agen lainnya sering membutuhkan konteks yang besar, sehingga pengujian berfokus pada beban kerja tersebut. Qwen 3.8 dan Mistral Medium 3.5 muat dengan nyaman di satu Mac Studio 512GB, dengan penggunaan RAM masing-masing hingga 68GB dan 158GB pada ukuran konteks yang lebih besar. Waktu hingga token pertama sebagian besar dibatasi oleh komputasi, dan di sinilah Neural Accelerator pada M5 Ultra memberikan keunggulan paling jelas.

研究者や開発者は、Apple silicon向けのオープンソース配列フレームワーク「MLX」を使い、フロンティア級の大規模言語モデルを自分のハードウェア上で非公開に試せるようになりました。このフレームワークはApple siliconの統一メモリアーキテクチャを活用し、誰でも新しい推論やファインチューニングの手法をローカルで実行できます。

最新のMLXリリースにより、ほぼ1兆パラメータを持つモデルMuse Spark Openを、デスク上の環境から実行できるようになりました。Mac Studio 4台のクラスタでは、このモデルは毎秒36トークン以上を生成し、人間の平均的な読書速度をはるかに上回ります。実行は最大512GBの統一メモリを搭載した1台のMac Studioから始まり、RDMA over Thunderboltドライバにより複数のMacへ拡張できます。

ベンチマークでは、2世代のMac Studio、M5 Ultraと前世代のM3 Ultraを比較しました。M5世代にはGPUのNeural Acceleratorが搭載されており、多くの機械学習処理に欠かせない専用の行列乗算をサポートします。テストしたモデルは、Muse Spark Open（816Bパラメータ）、Mistral Medium 3.5（128B）、Qwen 3.8（27B）の3つです。8,192トークンと65,536トークンのコンテキストサイズで、最初のトークンまでの時間、生成スループット、ピーク消費電力を測定しました。

エージェント型コーディングや、その他のプライベートなエージェントベースのアプリケーションでは大きなコンテキストが必要になることが多いため、テストはそうした処理負荷に焦点を当てています。Qwen 3.8とMistral Medium 3.5は、512GBのMac Studio 1台に余裕を持って収まり、大きなコンテキストサイズではそれぞれ最大68GBと158GBのRAMを使用します。最初のトークンまでの時間は主に演算能力に依存し、そこでM5 UltraのNeural Acceleratorが最も明確な利点をもたらします。

Pesquisadores e desenvolvedores agora podem experimentar em privado grandes modelos de linguagem de classe fronteira no próprio hardware usando o MLX, o framework de arrays de código aberto para Apple silicon. O framework aproveita a arquitetura de memória unificada do Apple silicon, permitindo que qualquer pessoa execute localmente novos métodos de inferência e ajuste fino.

A versão mais recente do MLX torna possível executar o Muse Spark Open, um modelo com quase um trilhão de parâmetros, a partir de uma configuração de mesa. Em um cluster de quatro Mac Studios, o modelo gera mais de 36 tokens por segundo, bem acima da velocidade média de leitura humana. A execução começa em um único Mac Studio com até 512 GB de memória unificada e se estende por vários Macs usando o driver RDMA sobre Thunderbolt.

Os benchmarks comparam duas gerações de Mac Studio: o M5 Ultra e o M3 Ultra anterior. A geração M5 inclui um Neural Accelerator de GPU que oferece suporte à multiplicação de matrizes dedicada, recurso essencial para muitas cargas de trabalho de aprendizado de máquina. Foram testados três modelos: Muse Spark Open (816 bilhões de parâmetros), Mistral Medium 3.5 (128 bilhões) e Qwen 3.8 (27 bilhões). Foram medidos o tempo até o primeiro token, a taxa de geração e o pico de consumo de energia, com contextos de 8.192 e 65.536 tokens.

A programação agêntica e outras aplicações privadas baseadas em agentes costumam exigir contextos grandes, por isso os testes se concentram nessas cargas. Qwen 3.8 e Mistral Medium 3.5 cabem confortavelmente em um único Mac Studio de 512 GB, usando até 68 GB e 158 GB de RAM, respectivamente, no maior contexto. O tempo até o primeiro token é em grande parte limitado pelo processamento, e é aí que os Neural Accelerators do M5 Ultra oferecem sua vantagem mais clara.

Исследователи и разработчики теперь могут приватно экспериментировать с большими языковыми моделями передового класса на собственном оборудовании, используя MLX — открытый фреймворк для массивов под Apple silicon. Фреймворк использует архитектуру унифицированной памяти Apple silicon, позволяя каждому локально запускать новые методы инференса и дообучения.

Последний релиз MLX делает возможным запуск Muse Spark Open — модели почти с триллионом параметров — прямо с рабочего стола. На кластере из четырёх Mac Studio модель генерирует более 36 токенов в секунду, что заметно превышает среднюю скорость чтения человека. Работа начинается на одном Mac Studio с объёмом унифицированной памяти до 512 ГБ, а затем масштабируется на несколько Mac с помощью драйвера RDMA over Thunderbolt.

Тесты сравнивают два поколения Mac Studio: M5 Ultra и предыдущий M3 Ultra. В поколении M5 есть нейроускоритель GPU, поддерживающий специализированное матричное умножение — возможность, критически важную для многих задач машинного обучения. Протестированы три модели: Muse Spark Open (816 млрд параметров), Mistral Medium 3.5 (128 млрд) и Qwen 3.8 (27 млрд). Измерялись время до первого токена, пропускная способность генерации и пиковое энергопотребление при контекстах 8 192 и 65 536 токенов.

Агентное программирование и другие приватные приложения на основе агентов часто требуют больших контекстов, поэтому тесты сосредоточены именно на таких нагрузках. Qwen 3.8 и Mistral Medium 3.5 свободно помещаются на один Mac Studio с 512 ГБ, занимая при большом контексте до 68 ГБ и 158 ГБ оперативной памяти соответственно. Время до первого токена в основном ограничено вычислениями, и именно здесь нейроускорители M5 Ultra дают наиболее явное преимущество.

研究人员和开发者现在可以使用 MLX 在自己的硬件上私密地试验前沿级大语言模型，MLX 是面向 Apple 芯片的开源数组框架。该框架利用 Apple 芯片的统一内存架构，让任何人都能在本地运行新的推理和微调方法。

借助最新版 MLX，用户可以在办公桌旁的设备上运行 Muse Spark Open，这是一个拥有接近一万亿参数的模型。在由四台 Mac Studio 组成的集群上，该模型每秒可生成超过 36 个 token，远高于人类的平均阅读速度。运行可从单台最高配备 512GB 统一内存的 Mac Studio 开始，并通过 RDMA over Thunderbolt 驱动扩展到多台 Mac。

基准测试比较了两代 Mac Studio，即 M5 Ultra 和上一代 M3 Ultra。M5 系列配备 GPU 神经网络加速器，支持专用矩阵乘法运算，这对许多机器学习工作负载至关重要。测试的三个模型分别是 Muse Spark Open（816B 参数）、Mistral Medium 3.5（128B）和 Qwen 3.8（27B）。测试在 8,192 和 65,536 个 token 的上下文长度下，测量了首个 token 生成时间、生成吞吐量和峰值功耗。

智能体编程以及其他私密的基于智能体的应用通常需要较大的上下文，因此测试重点围绕这些工作负载展开。Qwen 3.8 和 Mistral Medium 3.5 可以轻松运行在单台 512GB 的 Mac Studio 上，在较大上下文长度下分别占用最多 68GB 和 158GB 内存。首个 token 的生成时间主要受计算能力限制，这正是 M5 Ultra 神经网络加速器优势最明显的地方。