সাশ্রয়ের জন্য LLM-গুলোর মধ্যে অনুরোধ রাউট করা সহজ মনে হয়: সহজ কাজ সস্তা মডেলে আর কঠিন কাজ ফ্রন্টিয়ার মডেলে পাঠানো। কিন্তু সেশনের মাঝপথে মডেল বদলালে একটি লুকানো খরচ থাকে। নতুন মডেল কথোপকথনের ইতিহাস কখনো দেখেনি, তাই তাকে পুরো সেশন শূন্য থেকে পূর্ণ মূল্যে পুনরায় প্রক্রিয়া করতে হয়। এই কোল্ড-ক্যাশ প্রিফিল LLM পরিষেবার সবচেয়ে ব্যয়বহুল অপারেশনগুলোর একটি হতে পারে।
Microsoft Azure Research-এর ২০২৬ সালের আগস্টের একটি গবেষণা, যেখানে ১.৩৫ কোটি GitHub Copilot সেশন এবং ৭৬০ কোটি মডেল কল বিশ্লেষণ করা হয়েছে, এই সমস্যাটি স্পষ্ট করে। একটি টার্নের ভেতরে প্রম্পটের প্রায় ৯০% ক্যাশ থেকে পুনর্ব্যবহার করা যেত। একই মডেলে টার্ন সীমা পেরোলে তা নেমে আসে ৫৫%-এ, আর মডেল বদলালে মাত্র ৮%-এ। প্রায় ৬.৪% সেশনে মডেল বদলানো হয়, প্রায়ই ত্রুটি বা রেট লিমিটের কারণে, অর্থাৎ অনেক ব্যবহারকারী অনিচ্ছাকৃতভাবে এই খরচ বহন করেন।
প্রভাবটি সরাসরি মাপতে লেখক প্রিফিক্স ক্যাশিং সহ একটি vLLM সার্ভারে একই ২০-টার্নের এজেন্ট সেশন তিনটি রাউটিং নীতির মাধ্যমে চালান: স্টিকি রাউটিং, প্রতি-অনুরোধ পালাক্রমিক রাউটিং এবং ফেজ-বাউন্ডারি সুইচিং। গেটওয়েতে প্রতি-অনুরোধ রাউটিং স্টিকি রাউটিংয়ের প্রায় দ্বিগুণ ক্যাশ নষ্ট করে এবং কাঁচা দামের পার্থক্য থেকে প্রাপ্ত ৪০ শতাংশ-পয়েন্টের সাশ্রয়ের মধ্যে কেবল ১৩ পয়েন্ট দেয়। ফেজ-বাউন্ডারি রাউটিং, যা এজেন্ট ওয়ার্কফ্লোর কোনো ধাপ শেষ হলেই কেবল বদলায়, সেখান থেকে ২৯ পয়েন্ট অর্জন করে। ফ্রন্টিয়ার মডেলে ক্যাশ-অসচেতন একটি নীতি একই সংখ্যক টোকেন প্রক্রিয়া করেও ক্যাশ-সচেতন বেসলাইনের চেয়ে ৪.৮৮ গুণ বেশি খরচ করে।
LLM এজেন্ট পরিচালনাকারীদের জন্য শিক্ষা: রাউটিংয়ের সাশ্রয় শুধু মডেলের দামের ওপর নির্ভর করে না, বরং রাউটিং কীভাবে স্টেট ও ক্যাশ পুনর্ব্যবহারের সঙ্গে মিথস্ক্রিয়া করে তার ওপরও নির্ভর করে। রাউটিং যতটা দামের সিদ্ধান্ত, ততটাই স্টেট-ব্যবস্থাপনার সিদ্ধান্ত, এবং সেই স্টেট থাকে হার্নেসের ভেতরেই।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing