DeepInfer إطار استدلال عالي الأداء يشغّل خدمات DeepSeek الإنتاجية واسعة النطاق. يوفر هذا الإصدار مفتوح المصدر الاستدلال دون اتصال مع الميزات الأساسية اللازمة لتقديم الخدمة على نطاق واسع. يدعم حاليًا DeepSeek-V4.1-Flash ويعمل على وحدات معالجة الرسوميات NVIDIA SM100 ووحدات NPU من Huawei Ascend 950.
يتضمن الإطار نوى حسابية محسّنة مثل Flash MLA وDeepGEMM وDeepEP وTile Kernels ونوى Tile Lang المخصصة. ويدعم التوازي على مستوى بيانات الانتباه، والتوازي المتوازن للسياق، والتوازي لخبراء MoE مع EPLB، وجدولة الدفعات غير المتزامنة ذات الحمل الصفري.
تشمل ميزات فك الترميز المتقدمة DSpark والتحقق بجدولة الثقة، اللذين يسرّعان فك الترميز برموز المسودة، وإعادة SWA المحدودة في فك الترميز، التي تقلل عمل مرحلة التعبئة المسبقة.
كما يوفر DeepInfer استدلالًا ثابتًا عبر الدفعات، يحافظ على تطابق نتائج النموذج عبر تركيبات دفعات مختلفة على عتاد NVIDIA، إلى جانب أخذ العينات الحتمية ومخرجات منظمة مقيّدة بالتعبيرات النمطية أو مخطط JSON أو قواعد EBNF.
لا تزال خدمة الاستدلال الكاملة تتطلب مكونات غير مشمولة في هذا الإصدار، مثل نظام ذاكرة KV المؤقتة، وفصل التعبئة المسبقة عن فك الترميز، وموازنة الحمل عبر نسخ التوازي على مستوى البيانات. يُصدر المشروع بموجب ترخيص Apache 2.0، وقد بُني في الأصل بشكل أساسي على vLLM، مستوحى من SGLang وTensorRT-LLM.
المصدر: Hacker News · لخّصه HeadlinesBriefing