Qwen3.8-27B funciona en el Neural Engine del iPhone 18 a velocidades de 15 a 70 tokens por segundo, utilizando 1,5 bits por peso. El modelo procesa la entrada a 1,5 bits por peso, lo que permite una inferencia eficiente en el dispositivo. Este avance marca un paso significativo en las capacidades de la IA móvil, al llevar modelos de lenguaje avanzados al hardware de los teléfonos inteligentes.
Las métricas de rendimiento sugieren que el Neural Engine de Apple puede manejar cargas de trabajo de IA a gran escala con una eficiencia notable. Los observadores del sector señalan las implicaciones para la computación en el borde y las aplicaciones de IA que preservan la privacidad. El logro demuestra la creciente convergencia entre el diseño de chips móviles y los modelos sofisticados de aprendizaje automático.
Los casos de uso potenciales incluyen la traducción en tiempo real, la generación de contenido en el dispositivo y una funcionalidad mejorada de Siri. Los resultados de las pruebas de referencia son favorables en comparación con intentos previos de IA móvil, lo que indica una maduración del campo.
Fuente: Hacker News · Resumido por HeadlinesBriefing