DeepInfer:开源 DeepSeek 推理框架

DeepInfer 是一款高性能推理框架，支撑 DeepSeek 的大规模生产服务。此次开源发布提供离线推理，以及规模化服务所需的核心功能。目前它支持 DeepSeek-V4.1-Flash，可运行于 NVIDIA SM100 GPU 和华为昇腾 950 NPU。

该框架包含多种优化内核，例如 Flash MLA、DeepGEMM、DeepEP、Tile Kernels 以及自定义的 Tile Lang 内核。它支持注意力数据并行、均衡上下文并行、带有 EPLB 的 MoE 专家并行，以及异步零开销批处理调度。

高级解码功能包括 DSpark 和置信度调度验证，前者利用草稿词元加速解码，后者通过解码器 SWA 有界重放减少预填充工作量。

DeepInfer 还提供批次不变推理，在 NVIDIA 硬件上，无论批次构成如何，模型结果都保持一致。此外，它还支持确定性采样，以及受正则表达式、JSON Schema 或 EBNF 语法约束的结构化输出。

一个完整的推理服务仍需要本次发布未包含的组件，例如 KV 缓存系统、预填充/解码分离，以及跨数据并行副本的负载均衡。该项目采用 Apache License 2.0 许可证发布，最初主要基于 vLLM 构建，并受到 SGLang 和 TensorRT-LLM 的启发。