প্রতিটি প্রধান ইনফারেন্স ফ্রেমওয়ার্ক এই বছর প্রিফিল-ডিকোড ডিসঅ্যাগ্রিগেশন প্রকাশ করেছে। NVIDIA এটি Dynamo-তে নির্মাণ করেছে। SGLang এটি বৃহৎ পরিসরের স্থাপনার জন্য ডিফল্ট করেছে। v LLM এটি নেটিভভাবে সমর্থন করার জন্য একটি KV সংযোগকারী API যুক্ত করেছে। ঐকমত্য দ্রুত গঠিত হচ্ছে: আপনার প্রিফিল এবং ডিকোডকে পৃথক GPU পুলে বিভক্ত করুন, এবং থ্রুপুট উন্নত হবে। এই ঐকমত্যটি বেশিরভাগ দলের জন্য ভুল। Doubleword-এর বিশ্লেষণ দেখায় যে একটি ভারসাম্যপূর্ণ ডিসঅ্যাগ্রিগেটেড স্থাপনা কো-লোকেটেড থ্রুপুটের সাথে মেলে, কিন্তু ছোট GPU গণনার ক্ষেত্রে রাউন্ডিং ক্ষতিগুলি আধিপত্য করে: আপনি ভগ্নাংশ GPU বরাদ্দ করতে পারবেন না, তাই বিশেষীকরণ লাভগুলি অসম্পূর্ণ কর্মী ব্যবহার দ্বারা গ্রাস করা হয়। সেই স্কেলে ব্যবহারিক সুবিধা হল স্বাধীন SLO টিউনিং, থ্রুপুট নয়। ২০২৫ সালের জুনের একটি গবেষণায় লক্ষ লক্ষ ডিজাইন পয়েন্ট মূল্যায়ন করে পাওয়া গেছে যে ডিসঅ্যাগ্রিগেশন প্রিফিল-ভারী ট্রাফিক প্যাটার্ন এবং বৃহত্তর মডেলগুলির জন্য সবচেয়ে কার্যকর। বেশিরভাগ দল যে মিশ্র-ট্রাফিক ওয়ার্কলোডগুলি আসলে চালায়, সেগুলির জন্য সারি এবং ইন্টার-নোড KV ক্যাশ স্থানান্তর এন্ড-টু-এন্ড লেটেন্সির উপর আধিপত্য করেছে। যে দলগুলি ডিসঅ্যাগ্রিগেট করেছে সেগুলি বাধাটি স্থানান্তরিত করেছে। তারা এটি সরায়নি। আমি একটি মধ্যম আকারের শ্রেণীবিভাজন মডেল পরিবেশনকারী একটি ইনফারেন্স ওয়ার্কলোডে এটির মুখোমুখি হয়েছি। বার্স্টি ট্রাফিকের অধীনে TPOT বেড়ে গেছে, এবং প্রথম প্রবৃত্তি ছিল প্রিফিলকে ডিকোড থেকে আলাদা করা। পরিবর্তে, আমি একই GPU পুলে চাঙ্কড প্রিফিল সক্ষম করেছি। TPOT স্থিতিশীল হয়েছে। সমস্যাটি ছিল সিডিউলিং হস্তক্ষেপ, এবং চাঙ্কড প্রিফিল একটি নেটওয়ার্ক হপ যোগ না করেই এটি পরিচালনা করেছে। চাঙ্কড প্রিফিল দীর্ঘ প্রিফিল অনুরোধগুলিকে ছোট টুকরোতে ভাগ করে এবং সেগুলিকে একই GPU-তে ডিকোড ব্যাচের সাথে ইন্টারলিভ করে। কোনো পৃথক নোড পুল নেই। নেটওয়ার্কের মাধ্যমে কোনো KV ক্যাশ স্থানান্তর নেই। টিউন করার জন্য কোনো P:D অনুপাত নেই। TNG Technology Consulting চাঙ্কড প্রিফিল সক্ষম সহ মানক v LLM ব্যবহার করে মোট টোকেন থ্রুপুটে ৫০ শতাংশ বৃদ্ধি পরিমাপ করেছে। ডিকোড ব্যাচগুলি এখনও একই হার্ডওয়্যারে প্রিফিল টুকরোগুলির মধ্যে চলছিল, কিন্তু সিডিউলিং হস্তক্ষেপ একটি স্তরে নেমে গেছে যা বেশিরভাগ প্রোডাকশন ওয়ার্কলোড সহ্য করতে পারে। প্রায় ৫০ অনুরোধ প্রতি সেকেন্ডের নিচে এবং মাঝারি প্রম্পট দৈর্ঘ্যের সাথে ওয়ার্কলোডগুলির জন্য, সেই সীমাটি যথেষ্ট টাইট।