Laya (OS Jev) demonstra inferência de IA em tempo real no silício da Apple, atingindo 45 decisões por segundo usando Mac M4 CoreML. Este marco de desempenho mostra o potencial de grandes modelos de linguagem offline em hardware de consumo, eliminando a necessidade de dependências de nuvem. O benchmark destaca otimização significativa para o motor neural da Apple, permitindo aplicações de IA responsivas diretamente em dispositivos desktop.

Este desenvolvimento marca uma mudança para fluxos de trabalho de IA focados em privacidade e processados localmente. A conquista ocorre enquanto grandes empresas de tecnologia competem para otimizar modelos para execução no dispositivo. O sucesso do Laya no silício M4 sugere um caminho viável para desenvolvedores que buscam IA de alto desempenho sem requisitos de conectividade à internet.