De acordo com a AppleInsider, proprietários de Mac Pro Intel com placas de vídeo AMD ainda podem executar projetos locais de IA. O projeto ToshLLM afirma oferecer aceleração Metal nativa, zero dependência da nuvem e nenhuma cobrança por token.
Segundo a própria alegação do projeto, ele funciona sem enviar dados para servidores remotos e sem as taxas de uso cobradas por muitos serviços de IA na nuvem. Os usuários mantêm suas cargas de trabalho no hardware que já possuem.
O desempenho não será equivalente ao de sistemas mais recentes. O artigo observa que a configuração não será tão rápida quanto o Mac Studio M5 Ultra, mas permite que hardware mais antigo execute tarefas de IA local em vez de ficar ocioso.
O projeto ToshLLM está disponível em toshllm.com. A reportagem original da AppleInsider descreve a configuração com mais detalhes.
Fonte: AppleInsider · Resumido por HeadlinesBriefing