Chercheurs et développeurs peuvent désormais expérimenter en privé des grands modèles de langage de classe frontière sur leur propre matériel grâce à MLX, le framework de tableaux open source pour Apple silicon. Ce framework tire parti de l'architecture à mémoire unifiée d'Apple silicon, permettant à chacun d'exécuter localement de nouvelles méthodes d'inférence et de fine-tuning.
La dernière version de MLX permet d'exécuter Muse Spark Open, un modèle comptant près d'un trillion de paramètres, depuis un poste de travail. Sur un cluster de quatre Mac Studio, le modèle génère plus de 36 tokens par seconde, bien au-delà de la vitesse moyenne de lecture humaine. L'exécution commence sur un seul Mac Studio doté de jusqu'à 512 Go de mémoire unifiée, puis s'étend à plusieurs Mac grâce au pilote RDMA sur Thunderbolt.
Les benchmarks comparent deux générations de Mac Studio : le M5 Ultra et le M3 Ultra précédent. La génération M5 intègre un accélérateur neuronal GPU qui prend en charge la multiplication matricielle dédiée, une capacité essentielle pour de nombreuses charges de travail en apprentissage automatique. Trois modèles ont été testés : Muse Spark Open (816 milliards de paramètres), Mistral Medium 3.5 (128 milliards) et Qwen 3.8 (27 milliards). Le temps jusqu'au premier token, le débit de génération et la consommation électrique maximale ont été mesurés pour des contextes de 8 192 et 65 536 tokens.
Le codage agentique et d'autres applications privées fondées sur des agents nécessitent souvent de grands contextes, c'est pourquoi les tests se concentrent sur ces charges. Qwen 3.8 et Mistral Medium 3.5 tiennent sans difficulté sur un seul Mac Studio de 512 Go, en utilisant respectivement jusqu'à 68 Go et 158 Go de RAM pour le contexte le plus grand. Le temps jusqu'au premier token dépend largement de la puissance de calcul, et c'est là que les accélérateurs neuronaux du M5 Ultra offrent leur avantage le plus net.
Source: Hacker News · Résumé par HeadlinesBriefing