Investigadores y desarrolladores ya pueden experimentar en privado con modelos de lenguaje de gran tamaño de clase frontera en su propio hardware usando MLX, el framework de arrays de código abierto para Apple silicon. El framework aprovecha la arquitectura de memoria unificada de Apple silicon, lo que permite a cualquiera ejecutar localmente nuevos métodos de inferencia y ajuste fino.
La última versión de MLX hace posible ejecutar Muse Spark Open, un modelo con casi un billón de parámetros, desde una configuración de escritorio. En un clúster de cuatro Mac Studio, el modelo genera más de 36 tokens por segundo, muy por encima de la velocidad media de lectura humana. La ejecución comienza en un solo Mac Studio con hasta 512 GB de memoria unificada y se extiende a varios Mac mediante el controlador RDMA sobre Thunderbolt.
Las pruebas comparan dos generaciones de Mac Studio: el M5 Ultra y el anterior M3 Ultra. La generación M5 incluye un acelerador neuronal de GPU que admite multiplicación de matrices dedicada, una capacidad esencial para muchas cargas de trabajo de aprendizaje automático. Se probaron tres modelos: Muse Spark Open (816 000 millones de parámetros), Mistral Medium 3.5 (128 000 millones) y Qwen 3.8 (27 000 millones). Se midieron el tiempo hasta el primer token, el rendimiento de generación y el consumo máximo de energía con contextos de 8192 y 65 536 tokens.
La programación agéntica y otras aplicaciones privadas basadas en agentes suelen requerir contextos grandes, por lo que las pruebas se centran en esas cargas. Qwen 3.8 y Mistral Medium 3.5 caben cómodamente en un único Mac Studio de 512 GB, usando hasta 68 GB y 158 GB de RAM respectivamente con el contexto más grande. El tiempo hasta el primer token está limitado principalmente por el cómputo, que es donde los aceleradores neuronales del M5 Ultra ofrecen su ventaja más clara.
Fuente: Hacker News · Resumido por HeadlinesBriefing