Forschende und Entwickler können nun mit MLX, dem Open-Source-Array-Framework für Apple silicon, große Sprachmodelle der Spitzenklasse privat auf eigener Hardware ausprobieren. Das Framework nutzt die einheitliche Speicherarchitektur von Apple silicon und ermöglicht es jedem, neue Inferenz- und Feinabstimmungsverfahren lokal auszuführen.
Mit der neuesten MLX-Version lässt sich Muse Spark Open, ein Modell mit knapp einer Billion Parametern, direkt vom Schreibtisch aus betreiben. Auf einem Cluster aus vier Mac Studios erzeugt das Modell mehr als 36 Token pro Sekunde und liegt damit deutlich über der durchschnittlichen menschlichen Lesegeschwindigkeit. Der Betrieb beginnt auf einem einzelnen Mac Studio mit bis zu 512 GB einheitlichem Speicher und lässt sich über den RDMA-over-Thunderbolt-Treiber auf mehrere Macs ausweiten.
Die Benchmarks vergleichen zwei Generationen des Mac Studio: den M5 Ultra und den vorherigen M3 Ultra. Die M5-Generation verfügt über einen GPU-Neural-Accelerator, der dedizierte Matrixmultiplikation unterstützt – eine für viele Workloads des maschinellen Lernens wesentliche Fähigkeit. Getestet wurden drei Modelle: Muse Spark Open (816 Mrd. Parameter), Mistral Medium 3.5 (128 Mrd.) und Qwen 3.8 (27 Mrd.). Gemessen wurden die Zeit bis zum ersten Token, der Generierungsdurchsatz und der Spitzenstromverbrauch bei Kontextgrößen von 8.192 und 65.536 Token.
Agentisches Programmieren und andere private, agentenbasierte Anwendungen benötigen häufig große Kontexte, weshalb sich die Tests auf solche Workloads konzentrieren. Qwen 3.8 und Mistral Medium 3.5 passen bequem auf einen einzelnen 512-GB-Mac-Studio und benötigen bei der größeren Kontextgröße bis zu 68 GB bzw. 158 GB RAM. Die Zeit bis zum ersten Token ist überwiegend rechenlimitiert – genau hier bieten die Neural Accelerators des M5 Ultra ihren deutlichsten Vorteil.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing