O Qwen3.8-27B roda no Neural Engine do iPhone 18 a velocidades de 15 a 70 tokens por segundo, usando 1,5 bit por peso. O modelo processa a entrada a 1,5 bit por peso, o que possibilita inferência eficiente no dispositivo. Esse avanço marca um passo significativo nas capacidades da IA móvel, levando modelos de linguagem avançados para o hardware dos smartphones.
As métricas de desempenho sugerem que o Neural Engine da Apple consegue lidar com cargas de trabalho de IA em larga escala com notável eficiência. Observadores do setor destacam as implicações para a computação de borda e para aplicações de IA que preservam a privacidade. A conquista demonstra a crescente convergência entre o design de chips móveis e modelos sofisticados de aprendizado de máquina.
Os casos de uso potenciais incluem tradução em tempo real, geração de conteúdo no dispositivo e funcionalidades aprimoradas da Siri. Os resultados dos benchmarks comparam-se favoravelmente a tentativas anteriores de IA móvel, indicando uma maturação do campo.
Fonte: Hacker News · Resumido por HeadlinesBriefing