DeepInferは、DeepSeekの大規模な本番サービスを支える高性能推論フレームワークです。本オープンソース版は、オフライン推論と、大規模にサービスを提供するために必要な主要機能を提供します。現在DeepSeek-V4.1-Flashに対応し、NVIDIA SM100 GPUおよびHuawei Ascend 950 NPUで動作します。
フレームワークには、Flash MLA、DeepGEMM、DeepEP、Tile Kernels、カスタムのTile Langカーネルなど、最適化されたカーネルが含まれています。アテンションのデータ並列、バランスの取れたコンテキスト並列、EPLBによるMoEエキスパート並列、非同期ゼロオーバーヘッドのバッチスケジューリングをサポートします。
高度なデコード機能には、ドラフトトークンでデコードを高速化するDSparkと信頼度スケジュール検証、プリフィルの作業量を減らすデコーダーのSWA有界リプレイが含まれます。
DeepInferはまた、NVIDIAハードウェア上でバッチの構成が異なってもモデルの結果が同一に保たれるバッチ不変推論、決定的サンプリング、正規表現、JSONスキーマ、EBNF文法で制約された構造化出力を提供します。
完全な推論サービスには、KVキャッシュシステム、プリフィルとデコードの分離、データ並列レプリカ間の負荷分散など、本リリースに含まれないコンポーネントが引き続き必要です。本プロジェクトはApache License 2.0の下で公開されており、当初は主にvLLMをベースに構築され、SGLangおよびTensorRT-LLMからも着想を得ています。
出典: Hacker News · 要約：HeadlinesBriefing