Pesquisadores e desenvolvedores agora podem experimentar em privado grandes modelos de linguagem de classe fronteira no próprio hardware usando o MLX, o framework de arrays de código aberto para Apple silicon. O framework aproveita a arquitetura de memória unificada do Apple silicon, permitindo que qualquer pessoa execute localmente novos métodos de inferência e ajuste fino.
A versão mais recente do MLX torna possível executar o Muse Spark Open, um modelo com quase um trilhão de parâmetros, a partir de uma configuração de mesa. Em um cluster de quatro Mac Studios, o modelo gera mais de 36 tokens por segundo, bem acima da velocidade média de leitura humana. A execução começa em um único Mac Studio com até 512 GB de memória unificada e se estende por vários Macs usando o driver RDMA sobre Thunderbolt.
Os benchmarks comparam duas gerações de Mac Studio: o M5 Ultra e o M3 Ultra anterior. A geração M5 inclui um Neural Accelerator de GPU que oferece suporte à multiplicação de matrizes dedicada, recurso essencial para muitas cargas de trabalho de aprendizado de máquina. Foram testados três modelos: Muse Spark Open (816 bilhões de parâmetros), Mistral Medium 3.5 (128 bilhões) e Qwen 3.8 (27 bilhões). Foram medidos o tempo até o primeiro token, a taxa de geração e o pico de consumo de energia, com contextos de 8.192 e 65.536 tokens.
A programação agêntica e outras aplicações privadas baseadas em agentes costumam exigir contextos grandes, por isso os testes se concentram nessas cargas. Qwen 3.8 e Mistral Medium 3.5 cabem confortavelmente em um único Mac Studio de 512 GB, usando até 68 GB e 158 GB de RAM, respectivamente, no maior contexto. O tempo até o primeiro token é em grande parte limitado pelo processamento, e é aí que os Neural Accelerators do M5 Ultra oferecem sua vantagem mais clara.
Fonte: Hacker News · Resumido por HeadlinesBriefing