DeepInfer একটি উচ্চ-কর্মক্ষমতা সম্পন্ন ইনফারেন্স ফ্রেমওয়ার্ক যা DeepSeek-এর বৃহৎ আকারের প্রোডাকশন সেবাগুলোকে শক্তি জোগায়। এই ওপেন-সোর্স রিলিজ অফলাইন ইনফারেন্স এবং বৃহৎ পরিসরে সেবা প্রদানের জন্য প্রয়োজনীয় মূল বৈশিষ্ট্য সরবরাহ করে। এটি বর্তমানে DeepSeek-V4.1-Flash সমর্থন করে এবং NVIDIA SM100 GPU ও Huawei Ascend 950 NPU-তে চলে।
এই ফ্রেমওয়ার্কে Flash MLA, DeepGEMM, DeepEP, Tile Kernels এবং কাস্টম Tile Lang কার্নেলের মতো অপ্টিমাইজড কার্নেল রয়েছে। এটি অ্যাটেনশন ডেটা প্যারালেলিজম, সুষম কনটেক্সট প্যারালেলিজম, EPLB-সহ MoE এক্সপার্ট প্যারালেলিজম এবং অ্যাসিঙ্ক্রোনাস জিরো-ওভারহেড ব্যাচ শিডিউলিং সমর্থন করে।
উন্নত ডিকোডিং বৈশিষ্ট্যের মধ্যে রয়েছে DSpark এবং কনফিডেন্স-শিডিউলড ভেরিফিকেশন, যা ড্রাফট টোকেনের সাহায্যে ডিকোডিং দ্রুত করে, এবং ডিকোডার SWA বাউন্ডেড রিপ্লে, যা প্রিফিল কাজ কমায়।
DeepInfer ব্যাচ-ইনভেরিয়েন্ট ইনফারেন্সও দেয়, যা NVIDIA হার্ডওয়্যারে বিভিন্ন ব্যাচের গঠন নির্বিশেষে মডেলের ফলাফল একই রাখে। এর সঙ্গে রয়েছে ডিটারমিনিস্টিক স্যাম্পলিং এবং রেগুলার এক্সপ্রেশন, JSON স্কিমা বা EBNF গ্রামার দ্বারা সীমাবদ্ধ স্ট্রাকচার্ড আউটপুট।
একটি সম্পূর্ণ ইনফারেন্স সেবার জন্য এখনও এমন কিছু উপাদান প্রয়োজন যা এই রিলিজে অন্তর্ভুক্ত নয়, যেমন KV ক্যাশ সিস্টেম, প্রিফিল/ডিকোড বিচ্ছিন্নকরণ এবং ডেটা-প্যারালেল রেপ্লিকাগুলোর মধ্যে লোড ব্যালেন্সিং। প্রকল্পটি Apache License 2.0-এর অধীনে প্রকাশিত এবং মূলত প্রধানত vLLM-এর ভিত্তিতে তৈরি, যা SGLang ও TensorRT-LLM থেকে অনুপ্রেরণা নিয়েছে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing