DeepInfer adalah framework inferensi berkinerja tinggi yang menjalankan layanan produksi skala besar DeepSeek. Rilis open-source ini menyediakan inferensi offline dengan fitur inti yang dibutuhkan untuk melayani dalam skala besar. Saat ini mendukung DeepSeek-V4.1-Flash dan berjalan di GPU NVIDIA SM100 serta NPU Huawei Ascend 950.
Framework ini mencakup kernel yang dioptimalkan seperti Flash MLA, DeepGEMM, DeepEP, Tile Kernels, dan kernel Tile Lang kustom. Framework ini mendukung paralelisme data atensi, paralelisme konteks yang seimbang, paralelisme ahli MoE dengan EPLB, serta penjadwalan batch asinkron tanpa overhead.
Fitur decoding lanjutan meliputi DSpark dan verifikasi dengan penjadwalan berbasis keyakinan, yang mempercepat decoding dengan token draf, serta replay terbatas SWA pada decoder, yang mengurangi beban kerja prefill.
DeepInfer juga menawarkan inferensi batch-invariant, yang menjaga hasil model tetap identik pada berbagai komposisi batch di perangkat keras NVIDIA, bersama sampling deterministik dan keluaran terstruktur yang dibatasi oleh regex, skema JSON, atau tata bahasa EBNF.
Layanan inferensi yang lengkap masih memerlukan komponen yang tidak disertakan dalam rilis ini, seperti sistem cache KV, pemisahan prefill/decode, dan penyeimbangan beban antar replika paralelisme data. Proyek ini dirilis di bawah Lisensi Apache 2.0 dan awalnya dibangun terutama di atas vLLM, dengan inspirasi dari SGLang dan TensorRT-LLM.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing