تؤثر الحبال (harnesses) بشكل كبير على كفاءة استدلال الذكاء الاصطناعي من خلال إدارة التخزين المؤقت للمطالبات. تظهر بيانات Neuralwatt أن المدخلات غير المخزنة مؤقتًا تختلف من 1.6% إلى 11.1% عبر العملاء مثل Open Code وPi. يؤدي معدل تخزين مؤقت بنسبة 92% إلى عمل مسبق ملء أكبر بـ 2.7 مرة مقارنة بـ 97%. انقطاعات التخزين المؤقت—التي تسببها الحبال التي تعدل المطالبات السابقة—تفرض إعادة حساب كاملة من أول تغيير. تزيد الجلسات العميقة من التكاليف: إعادة قراءة أكثر من نصف مطالبة بـ 128k توكن تعادل 600 دورًا طبيعيًا من حيث الطاقة. تختلف العملاء بشكل كبير: deepseek-harness يكسر التخزين المؤقت حوالي 1% من الوقت، بينما يفعل Open Code وPi ذلك حوالي 3%. تحسّن Open Code 2.x في اختبارات المختبر لكنه لم يتحسن في الإنتاج. تؤكد قياسات الطاقة أن فوات التخزين المؤقت تضاعف الاستهلاك تقريبًا؛ في GLM-5.3، تكلفة الفوات 2.5 مرة أكثر. الحبل، وليس فقط النموذج أو الأجهزة، هو رافعة كفاءة رئيسية.
يرسل معظم traffic الوكالي 100k+ توكن إدخال للحصول على إخراج ضئيل. تعيد الخوادم استخدام تخزين مؤقت KV للبادئات غير المتغيرة، مما يجعل التخزين المؤقت المصدر الأعلى للكفاءة. أي تعديل بواسطة الحبل—حتى طابع زمني—يُبطل البادئة بأكملها. تكشف بيانات السحابة لـ Neuralwatt خلال 30 يومًا أن الحبل يحدد حصة sorprendente من عبء عمل وحدة معالجة الرسومات. يمكن أن يؤدي تحسين بناء المطالبات إلى توفير كبير في الطاقة والتكلفة دون تغيير النماذج أو الأجهزة.
المصدر: Hacker News · لخّصه HeadlinesBriefing