Qualcomm анонсирует улучшения в NPU Hexagon своего будущего Snapdragon 8 Elite Gen 6 Pro перед Саммитом Snapdragon 22 сентября. Новый NPU предназначен для агентного ИИ, оснащен Element Accelerator, ориентированным на трансформеры, и общей памятью на 50% больше, которая хранит часто используемые данные моделей близко к NPU. Такой дизайн снижает узкие места памяти, позволяя агентам оставаться отзывчивыми при обработке более длинных контекстов, большего количества инструментов и одновременных задач. Element Accelerator специально разработан для рабочих нагрузок трансформеров, обеспечивающих современную генеративную и агентную ИИ. В сочетании с скалярными, векторными и матричными расширениями он ускоряет критически важные операции для больших моделей, помогая агентам реагировать быстрее и рассуждать более эффективно без ущерба для энергоэффективности мобильных устройств. Qualcomm также заявляет о повышении скорости prefill для моделей INT4 на до 50%. Этот NPU хорошо подходит для моделей Смеси Экспертов (MoE), которые активируют только часть параметров на токен. В целом, новый Hexagon NPU спроектирован для постоянно работающего ИИ, рассуждений с длинным контекстом, мультимодальных моделей, одновременных агентов и петель низкой латентности действий.