A Meta trabalhou com a Apple para levar seu grande modelo de IA Muse Spark Open aos Mac Studio com M5 Ultra, permitindo que desenvolvedores executem IA avançada localmente em vez de depender de servidores em nuvem. Anunciado em 15 de outubro, o Muse Spark Open é um modelo de IA de pesos abertos projetado para programação, engenharia de software e tarefas que exigem várias etapas. A Meta desenvolveu o modelo com 816 bilhões de parâmetros, embora apenas 42 bilhões estejam ativos durante o processamento.
Para executar o modelo, são necessários pelo menos dois Mac Studio com M5 Ultra e 512 GB de memória unificada cada, ou quatro máquinas configuradas com 256 GB cada, usando o hardware apresentado na recente atualização do Mac Studio da Apple. A configuração de quatro máquinas já está disponível, mas a opção de 512 GB da Apple não deve ser entregue antes do fim de outubro. A colaboração aproveita a arquitetura de memória unificada da Apple, que permite que a CPU e a GPU acessem o mesmo conjunto de memória. Mesmo assim, essa quantidade não basta para rodar o Muse Spark Open em uma única máquina, já que os pesos comprimidos do modelo ocupam cerca de 493 GB antes de contar a memória necessária durante o processamento.
O framework de código aberto MLX distribui a carga de trabalho entre vários Macs, que se comunicam por meio do Thunderbolt 5 e do acesso remoto direto à memória (RDMA). Nos benchmarks da Apple, quatro Mac Studio com M5 Ultra geraram mais de 36 tokens por segundo com um contexto de 8.192 tokens. O desempenho real depende da carga de trabalho e do tamanho do contexto, mas os resultados indicam que o modelo pode entregar respostas em uma velocidade prática.
A Meta demonstrou o modelo lidando com vários fluxos de trabalho complexos inteiramente em hardware local. Usando sua ferramenta de desenvolvimento Muse Code, o modelo modificou o Ice Cubes, um cliente de código aberto do Mastodon para iOS, corrigindo bugs, adicionando recursos e concluindo uma compilação. Outra demonstração mostrou o Muse Spark Open controlando o Da Vinci Resolve para revisar imagens de vídeo, identificar trechos úteis e recortá-los em clipes verticais. As demonstrações mostram a conclusão de tarefas específicas, mas não estabelecem o quão confiável o modelo é em outros fluxos de trabalho.
Fonte: AppleInsider · Resumido por HeadlinesBriefing