DeepInfer — высокопроизводительный фреймворк инференса, на котором работают крупномасштабные производственные сервисы DeepSeek. Этот релиз с открытым исходным кодом обеспечивает офлайн-инференс и основные функции, необходимые для масштабного обслуживания. Сейчас поддерживается DeepSeek-V4.1-Flash, работа возможна на NVIDIA SM100 GPU и NPU Huawei Ascend 950.
В состав фреймворка входят оптимизированные ядра, такие как Flash MLA, DeepGEMM, DeepEP, Tile Kernels и пользовательские ядра Tile Lang. Поддерживаются параллелизм данных внимания, сбалансированный параллелизм контекста, параллелизм экспертов MoE с EPLB и асинхронное пакетное планирование с нулевыми накладными расходами.
Среди продвинутых возможностей декодирования — DSpark и верификация с планированием по уверенности, которые ускоряют декодирование с помощью черновых токенов, а также ограниченное повторное воспроизведение SWA в декодере, сокращающее объём работы на этапе prefill.
DeepInfer также предлагает инференс, инвариантный к батчу, который сохраняет одинаковые результаты модели при любой комбинации батчей на оборудовании NVIDIA, а также детерминированное сэмплирование и структурированный вывод, ограниченный регулярными выражениями, JSON-схемой или грамматикой EBNF.
Для полноценного сервиса инференса по-прежнему требуются компоненты, не входящие в этот релиз: система KV-кэша, разделение prefill/decode и балансировка нагрузки между репликами с параллелизмом данных. Проект распространяется по лицензии Apache 2.0 и изначально был построен в основном на базе vLLM, с вдохновением от SGLang и TensorRT-LLM.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing