DeepInfer est un framework d'inférence haute performance qui alimente les services de production à grande échelle de DeepSeek. Cette version open source propose l'inférence hors ligne avec les fonctions essentielles nécessaires à un service à grande échelle. Elle prend actuellement en charge DeepSeek-V4.1-Flash et fonctionne sur les GPU NVIDIA SM100 et les NPU Huawei Ascend 950.
Le framework comprend des noyaux optimisés tels que Flash MLA, DeepGEMM, DeepEP, Tile Kernels et des noyaux Tile Lang personnalisés. Il prend en charge le parallélisme de données d'attention, le parallélisme de contexte équilibré, le parallélisme d'experts MoE avec EPLB, ainsi que l'ordonnancement asynchrone des lots à surcoût nul.
Les fonctionnalités avancées de décodage comprennent DSpark et la vérification à ordonnancement par confiance, qui accélèrent le décodage grâce aux jetons de brouillon, ainsi que la relecture bornée SWA du décodeur, qui réduit le travail de préremplissage.
DeepInfer propose également une inférence invariante par lot, qui garantit des résultats identiques du modèle quelle que soit la composition des lots sur le matériel NVIDIA, ainsi qu'un échantillonnage déterministe et des sorties structurées contraintes par des expressions régulières, un schéma JSON ou une grammaire EBNF.
Un service d'inférence complet nécessite encore des composants absents de cette version, tels qu'un système de cache KV, la séparation préremplissage/décodage et l'équilibrage de charge entre les répliques de parallélisme de données. Le projet est publié sous licence Apache 2.0 et a été initialement construit principalement sur vLLM, en s'inspirant de SGLang et de TensorRT-LLM.
Source: Hacker News · Résumé par HeadlinesBriefing