Qwen3.8-27B работает на Neural Engine iPhone 18 со скоростью от 15 до 70 токенов в секунду, используя 1,5 бита на вес. Модель обрабатывает входные данные при 1,5 бита на вес, что обеспечивает эффективный вывод непосредственно на устройстве. Это достижение является значительным шагом в развитии возможностей мобильного ИИ, поскольку переносит продвинутые языковые модели на аппаратное обеспечение смартфонов. Показатели производительности свидетельствуют о том, что Neural Engine от Apple способен справляться с масштабными задачами ИИ с заметной эффективностью. Наблюдатели отрасли отмечают последствия для периферийных вычислений и приложений ИИ, сохраняющих конфиденциальность. Это достижение демонстрирует растущее сближение разработки мобильных чипов и сложных моделей машинного обучения. Возможные сценарии использования включают перевод в реальном времени, генерацию контента на устройстве и расширенные функции Siri. Результаты тестов выгодно сравниваются с предыдущими попытками мобильного ИИ, что свидетельствует о зрелости этой области.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing