Laya (OS Jev) démontre l'inférence d'IA en temps réel sur silicium Apple, atteignant 45 décisions par seconde en utilisant Mac M4 CoreML. Cette étape de performance met en évidence le potentiel des grands modèles de langage hors ligne sur du matériel grand public, éliminant le besoin de dépendances cloud. Le benchmark souligne l'optimisation significative pour le moteur neuronal d'Apple, permettant des applications IA réactives directement sur les appareils de bureau.

Ce développement marque un changement vers des flux de travail IA axés sur la confidentialité et traités localement. Cette réalisation survient alors que les grandes entreprises technologiques s'efforcent d'optimiser les modèles pour l'exécution sur appareil. Le succès de Laya sur silicium M4 suggère une voie viable pour les développeurs recherchant une IA haute performance sans exigences de connectivité Internet.