Meta ha trabajado con Apple para llevar su gran modelo de IA Muse Spark Open a los Mac Studio con M5 Ultra, lo que permite a los desarrolladores ejecutar IA avanzada de forma local en lugar de depender de servidores en la nube. Anunciado el 15 de octubre, Muse Spark Open es un modelo de pesos abiertos diseñado para programación, ingeniería de software y tareas que requieren varios pasos. Meta desarrolló el modelo con 816 000 millones de parámetros, aunque solo 42 000 millones están activos durante el procesamiento.
Para ejecutar el modelo se necesitan al menos dos Mac Studio con M5 Ultra y 512 GB de memoria unificada cada uno, o cuatro equipos configurados con 256 GB cada uno, utilizando el hardware presentado en la reciente renovación del Mac Studio de Apple. La configuración de cuatro equipos ya está disponible, pero la opción de 512 GB de Apple no se espera hasta finales de octubre. La colaboración aprovecha la arquitectura de memoria unificada de Apple, que permite a la CPU y a la GPU acceder al mismo conjunto de memoria. Ni siquiera esa cantidad basta para Muse Spark Open en un solo equipo, ya que los pesos comprimidos del modelo ocupan aproximadamente 493 GB antes de contar la memoria necesaria durante el procesamiento.
El framework de código abierto MLX distribuye la carga de trabajo entre varios Mac, que se comunican mediante Thunderbolt 5 y acceso directo remoto a memoria (RDMA). En los benchmarks de Apple, cuatro Mac Studio con M5 Ultra generaron más de 36 tokens por segundo con un contexto de 8192 tokens. El rendimiento real depende de la carga de trabajo y de la longitud del contexto, pero los resultados sugieren que el modelo puede responder a una velocidad práctica.
Meta demostró que el modelo maneja varios flujos de trabajo complejos íntegramente en hardware local. Con su herramienta de desarrollo Muse Code, el modelo modificó Ice Cubes, un cliente open source de Mastodon para iOS, corrigiendo errores, añadiendo funciones y completando una compilación. Otra demostración mostró a Muse Spark Open controlando Da Vinci Resolve para revisar metraje de vídeo, identificar fragmentos útiles y recortarlos en clips verticales. Las demostraciones muestran la realización de tareas concretas, pero no establecen con qué fiabilidad funciona el modelo en otros flujos de trabajo.
Fuente: AppleInsider · Resumido por HeadlinesBriefing