Laya (OS Jev) demuestra inferencia de IA en tiempo real en silicio de Apple, logrando 45 decisiones por segundo usando Mac M4 CoreML. Este hito de rendimiento muestra el potencial de los grandes modelos de lenguaje offline en hardware de consumo, eliminando la necesidad de dependencias en la nube. El benchmark destaca la optimización significativa para el motor neural de Apple, permitiendo aplicaciones de IA responsivas directamente en dispositivos de escritorio.

Este desarrollo marca un cambio hacia flujos de trabajo de IA enfocados en la privacidad y procesados localmente. El logro llega mientras las grandes empresas tecnológicas compiten por optimizar modelos para ejecución en dispositivo. El éxito de Laya en silicio M4 sugiere un camino viable para desarrolladores que buscan IA de alto rendimiento sin requisitos de conectividad a internet.