DeepInfer ist ein leistungsstarkes Inferenz-Framework, das die großskaligen Produktionsdienste von DeepSeek antreibt. Dieses Open-Source-Release bietet Offline-Inferenz mit den Kernfunktionen, die für den skalierten Betrieb benötigt werden. Derzeit unterstützt es DeepSeek-V4.1-Flash und läuft auf NVIDIA-SM100-GPUs sowie Huawei-Ascend-950-NPUs.
Das Framework umfasst optimierte Kernel wie Flash MLA, DeepGEMM, DeepEP, Tile Kernels und benutzerdefinierte Tile-Lang-Kernel. Es unterstützt Attention-Datenparallelität, ausbalancierte Kontextparallelität, MoE-Expertenparallelität mit EPLB sowie asynchrones Batch-Scheduling ohne Mehraufwand.
Fortgeschrittene Decodierungsfunktionen umfassen DSpark und eine konfidenzgesteuerte Verifizierung, die das Decodieren mit Draft-Tokens beschleunigen, sowie das begrenzte SWA-Replay im Decoder, das die Prefill-Arbeit reduziert.
DeepInfer bietet außerdem batch-invariante Inferenz, die Modellergebnisse über unterschiedliche Batch-Zusammensetzungen auf NVIDIA-Hardware identisch hält, sowie deterministisches Sampling und strukturierte Ausgaben, die durch Regex, JSON-Schema oder EBNF-Grammatik eingeschränkt werden.
Ein vollständiger Inferenzdienst sind weiterhin Komponenten erforderlich, die in dieser Version nicht enthalten sind, etwa ein KV-Cache-System, die Trennung von Prefill und Decode sowie Lastverteilung über datenparallele Replikate. Das Projekt steht unter der Apache-Lizenz 2.0 und wurde ursprünglich hauptsächlich auf vLLM aufgebaut, inspiriert von SGLang und TensorRT-LLM.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing