Meta hat mit Apple zusammengearbeitet, um sein umfangreiches KI-Modell Muse Spark Open auf den Mac Studio mit M5 Ultra zu bringen. Entwickler können so fortgeschrittene KI lokal ausführen, statt auf Cloud-Server angewiesen zu sein. Muse Spark Open wurde am 15. Oktober angekündigt. Es handelt sich um ein KI-Modell mit offenen Gewichten, das für Programmierung, Softwareentwicklung und mehrstufige Aufgaben konzipiert ist. Meta hat das Modell mit 816 Milliarden Parametern entwickelt, von denen während der Verarbeitung allerdings nur 42 Milliarden aktiv sind.
Für den Betrieb des Modells sind mindestens zwei Mac Studio mit M5 Ultra und jeweils 512 GB einheitlichem Speicher erforderlich, alternativ vier Geräte mit jeweils 256 GB. Verwendet wird die Hardware, die im jüngsten Mac-Studio-Update von Apple vorgestellt wurde. Die Konfiguration mit vier Geräten ist bereits verfügbar, die 512-GB-Option von Apple soll jedoch erst Ende Oktober ausgeliefert werden. Die Zusammenarbeit nutzt die einheitliche Speicherarchitektur von Apple, bei der CPU und GPU auf denselben Speicherpool zugreifen. Auch diese Speichermenge reicht auf einem einzelnen Gerät nicht aus, denn die komprimierten Gewichte des Modells belegen rund 493 GB, bevor der für die Verarbeitung nötige zusätzliche Speicher berücksichtigt wird.
Das quelloffene MLX-Framework verteilt die Arbeitslast auf mehrere Macs, die über Thunderbolt 5 und Remote Direct Memory Access (RDMA) miteinander kommunizieren. In den Benchmarks von Apple erzeugten vier Mac Studio mit M5 Ultra bei einem Kontext von 8.192 Token mehr als 36 Token pro Sekunde. Die tatsächliche Leistung hängt von der Arbeitslast und der Kontextlänge ab, doch die Ergebnisse deuten darauf hin, dass das Modell Antworten in einer praktikablen Geschwindigkeit liefern kann.
Meta zeigte, dass das Modell mehrere komplexe Arbeitsabläufe vollständig auf lokaler Hardware bewältigt. Mit dem Entwicklungswerkzeug Muse Code modifizierte das Modell Ice Cubes, einen quelloffenen Mastodon-Client für iOS. Dabei behob es Fehler, ergänzte Funktionen und schloss einen Build ab. Eine weitere Demonstration zeigte, wie Muse Spark Open Da Vinci Resolve steuert, um Videoaufnahmen zu sichten, nützliche Passagen zu finden und sie als vertikale Clips zuzuschneiden. Die Demonstrationen belegen zwar die Erledigung bestimmter Aufgaben, sagen aber nichts darüber aus, wie zuverlässig das Modell in anderen Arbeitsabläufen arbeitet.
Quelle: AppleInsider · Zusammengefasst von HeadlinesBriefing