DeepInfer es un marco de inferencia de alto rendimiento que impulsa los servicios de producción a gran escala de DeepSeek. Esta versión de código abierto ofrece inferencia offline con las funciones principales necesarias para servir a escala. Actualmente admite DeepSeek-V4.1-Flash y funciona en GPU NVIDIA SM100 y NPU Huawei Ascend 950.
El marco incluye kernels optimizados como Flash MLA, DeepGEMM, DeepEP, Tile Kernels y kernels personalizados de Tile Lang. Admite paralelismo de datos de atención, paralelismo de contexto equilibrado, paralelismo de expertos MoE con EPLB y programación de lotes asíncrona de sobrecarga cero.
Entre las funciones avanzadas de decodificación se incluyen DSpark y la verificación con programación por confianza, que aceleran la decodificación con tokens de borrador, y la repetición acotada de SWA en el decodificador, que reduce el trabajo de prefill.
DeepInfer también ofrece inferencia con lotes invariantes, que mantiene idénticos los resultados del modelo sin importar la composición de los lotes en hardware NVIDIA, junto con muestreo determinista y salidas estructuradas restringidas por expresiones regulares, esquemas JSON o gramáticas EBNF.
Un servicio de inferencia completo aún requiere componentes que no están incluidos en esta versión, como un sistema de caché KV, la separación de prefill y decode, y el balanceo de carga entre réplicas de paralelismo de datos. El proyecto se publica bajo la licencia Apache 2.0 y se construyó originalmente principalmente sobre vLLM, con inspiración en SGLang y TensorRT-LLM.
Fuente: Hacker News · Resumido por HeadlinesBriefing