DeepInfer एक उच्च-प्रदर्शन इन्फरेंस फ्रेमवर्क है जो DeepSeek की बड़े पैमाने की प्रोडक्शन सेवाओं को शक्ति देता है। यह ओपन-सोर्स रिलीज़ ऑफ़लाइन इन्फरेंस और बड़े पैमाने पर सेवा देने के लिए आवश्यक मुख्य सुविधाएँ प्रदान करता है। यह वर्तमान में DeepSeek-V4.1-Flash को सपोर्ट करता है और NVIDIA SM100 GPU तथा Huawei Ascend 950 NPU पर चलता है।
इस फ्रेमवर्क में Flash MLA, DeepGEMM, DeepEP, Tile Kernels और कस्टम Tile Lang kernels जैसे अनुकूलित kernels शामिल हैं। यह attention data parallelism, संतुलित context parallelism, EPLB के साथ MoE expert parallelism, और असिंक्रोनस zero-overhead batch scheduling को सपोर्ट करता है।
उन्नत डिकोडिंग सुविधाओं में DSpark और confidence-scheduled verification शामिल हैं, जो draft tokens के साथ डिकोडिंग को तेज़ करते हैं, तथा decoder SWA bounded replay, जो prefill कार्य को कम करता है।
DeepInfer batch-invariant inference भी प्रदान करता है, जो NVIDIA हार्डवेयर पर विभिन्न batch संरचनाओं में भी मॉडल के परिणाम एक जैसे रखता है। इसके साथ deterministic sampling और regex, JSON schema या EBNF grammar द्वारा नियंत्रित structured outputs भी उपलब्ध हैं।
एक पूर्ण इन्फरेंस सेवा के लिए अब भी ऐसे घटकों की आवश्यकता होती है जो इस रिलीज़ में शामिल नहीं हैं, जैसे KV cache सिस्टम, prefill/decode disaggregation, और data-parallel replicas में load balancing। यह प्रोजेक्ट Apache License 2.0 के तहत जारी किया गया है और मूलतः मुख्य रूप से vLLM पर आधारित है, जिसे SGLang और TensorRT-LLM से प्रेरणा मिली है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित