দক্ষতা ব্যবহার করুন: ক্যাশের হার এবং انرژی খরচ

Harnesses প্রম্পট ক্যাশিং পরিচালনা করে AI inference দক্ষতায় উল্লেখযোগ্য প্রভাব ফেলে। Neuralwatt ডেটা দেখায় যে uncached input Open Code এবং Pi जैसे ক্লায়েন্টদের মধ্যে 1.6% থেকে 11.1% পর্যন্ত পরিবর্তিত হয়। 92% ক্যাশের হার 97% এর তুলনায় 2.7 গুণ বেশি প্রিফিল কাজ করে। ক্যাশ ব্রেক—harnesses আগের প্রম্পটগুলো সম্পাদিত করার কারণে—প্রথম পরিবর্তন থেকে পুরো পুনঃগণনা বাধ্য করে। গভীর সেশন খরচ বাড়ায়: 128k-টোকেন প্রম্পটের অর্ধের বেশি পুনঃপাঠ করা 600 सामान्य টার্নের انرژی সমান। ক্লায়েন্টদের মধ্যে উল্লেখযোগ্য পার্থক্য আছে: deepseek-harness ক্যাশকে প্রায় 1% সময় ভাঙে, ενώ Open Code এবং Pi প্রায় 3% সময় ভাঙে। Open Code 2.x ল্যাব টেস্টে উন্নতি দেখিয়েছে কিন্তু প্রোডাকশনে নয়। انرژی মাপন নিশ্চিত করে যে ক্যাশ মিস roughly খরচকে দ্বিগুণ করে; GLM-5.3-এ, মিস 2.5 গুণ বেশি খরচ করে। হ্যার্নেস, শুধু মডেল বা হার্ডওয়্যার নয়, দক্ষতার একটি প্রধান लीভার।

সর্বোচ্চ এজেন্টিক ট্রাফিক ন্যূনতম আউটপুটের জন্য 100k+ ইনপুট টোকেন পাঠায়। সার্ভারগুলো পরিবর্তিত না হওয়া প্রিফিক্সের জন্য KV ক্যাশ পুনরায় ব্যবহার করে, dadurch ক্যাশিং শীর্ষ দক্ষতার উৎস बन जाता है। harness দ্বারা যে কোনো সম্পাদনা—একটি টাইমস্ট্যাম্পও—পুরো প্রিফিক্সকে अमान्य করে দেয়। Neuralwatt-এর 30 দিনের ক্লাউড ডেটা দেখায় যে harness GPU কর্মভারের আশ্চর্যজনক অংশ নির্ধারণ করে। প্রম্পট নির্মাণকে অপ্টিমাইজ করে মডেল বা হার্ডওয়্যার পরিবর্তন না করে উল্লেখযোগ্য انرژی ও খরচের বাঁচা সম্ভব।

উৎস: Hacker News · সারাংশ: HeadlinesBriefing