Laya (OS Jev) демонстрирует инференс ИИ в реальном времени на кремнии Apple, достигая 45 решений в секунду с использованием Mac M4 CoreML. Эта веха производительности демонстрирует потенциал офлайн больших языковых моделей на потребительском оборудовании, устраняя необходимость в облачных зависимостях. Бенчмарк подчеркивает значительную оптимизацию для нейронного движка Apple, позволяя отзывчивые приложения ИИ непосредственно на настольных устройствах. Это развитие отмечает переход к ориентированным на приватность, локально обрабатываемым рабочим процессам ИИ. Это достижение происходит в то время, как крупные технологические компании соревнуются в оптимизации моделей для выполнения на устройстве. Успех Laya на кремнии M4 указывает на жизнеспособный путь для разработчиков, ищущих высокопроизводительный ИИ без требований подключения к интернету.