Meta a travaillé avec Apple pour faire fonctionner son imposant modèle d'IA Muse Spark Open sur les Mac Studio équipés de la puce M5 Ultra, permettant aux développeurs d'exécuter une IA avancée en local plutôt que de dépendre de serveurs cloud. Annoncé le 15 octobre, Muse Spark Open est un modèle d'IA à poids ouverts conçu pour la programmation, l'ingénierie logicielle et les tâches nécessitant plusieurs étapes. Meta a développé ce modèle avec 816 milliards de paramètres, dont seulement 42 milliards sont actifs pendant le traitement.
L'exécution du modèle nécessite au minimum deux Mac Studio M5 Ultra disposant chacun de 512 Go de mémoire unifiée, ou quatre machines configurées avec 256 Go chacune, en utilisant le matériel présenté lors du récent renouvellement de la gamme Mac Studio d'Apple. La configuration à quatre machines est disponible dès maintenant, mais l'option 512 Go d'Apple ne devrait pas être livrée avant la fin octobre. Cette collaboration tire parti de l'architecture à mémoire unifiée d'Apple, qui permet au processeur et au GPU d'accéder au même pool de mémoire. Même cette quantité ne suffit pas à faire tourner Muse Spark Open sur une seule machine, car les poids compressés du modèle occupent environ 493 Go avant même la mémoire nécessaire au traitement.
Le framework open source MLX répartit la charge de travail entre plusieurs Mac, qui communiquent via Thunderbolt 5 et l'accès direct distant à la mémoire (RDMA). Dans les benchmarks d'Apple, quatre Mac Studio M5 Ultra ont généré plus de 36 tokens par seconde avec un contexte de 8 192 tokens. Les performances réelles dépendent de la charge de travail et de la longueur du contexte, mais les résultats indiquent que le modèle peut fournir des réponses à une vitesse pratique.
Meta a démontré que le modèle pouvait gérer plusieurs flux de travail complexes entièrement sur du matériel local. Grâce à son outil de développement Muse Code, le modèle a modifié Ice Cubes, un client open source de Mastodon pour iOS, en corrigeant des bugs, en ajoutant des fonctionnalités et en menant à bien une compilation. Une autre démonstration a montré Muse Spark Open pilotant Da Vinci Resolve pour examiner des rushes vidéo, repérer les passages utiles et les recadrer en clips verticaux. Ces démonstrations montrent l'accomplissement de tâches précises, mais ne permettent pas de savoir avec quelle fiabilité le modèle fonctionne dans d'autres flux de travail.
Source: AppleInsider · Résumé par HeadlinesBriefing