Harnesses berpengaruh signifikan terhadap efisiensi inferensi AI melalui manajemen caching prompt. Data Neuralwatt menunjukkan bahwa input yang tidak di-cache bervariasi dari 1,6% hingga 11,1% di klien seperti Open Code dan Pi. Tingkat cache 92% menghasilkan 2,7 kali lebih banyak kerja prefilling dibandingkan dengan 97%. Gangguan cache—yang disebabkan oleh harnesses yang mengedit prompt sebelumnya—memaksa perhitungan ulang lengkap mulai dari perubahan pertama. Sesi dalam memperbesar biaya: membaca kembali lebih dari setengah prompt 128k-token setara dengan 600 putaran biasa dalam hal energi. Klien berbeda secara signifikan: deepseek-harness memutuskan cache sekitar 1% waktu, sementara Open Code dan Pi melakukannya sekitar 3% waktu. Open Code 2.x menunjukkan perbaikan dalam uji laboratori tetapi tidak dalam produksi. Pengukuran energi mengonfirmasi bahwa cache miss secara kasar mengkonsumsi dua kali lipat; pada GLM-5.3, cache miss membiayai 2,5 kali lebih. Harness, bukan hanya model atau hardware, adalah tukang efisiensi utama.
Sebagian besar lalu lintas agen mengirim 100k+ token input untuk output minimal. Server menggunakan kembali cache KV untuk awalan yang tidak berubah, sehingga caching menjadi sumber utama efisiensi. Apapun edit oleh harness—bahkan hanya timestamp—menginvalidasi seluruh awalan. Data awan Neuralwatt selama 30 hari menunjukkan bahwa harness menentukan bagian yang mengejutkan dari beban kerja GPU. Optimasi pembuatan prompt dapat menghasilkan penghematan energi dan biaya yang besar tanpa mengubah model atau hardware.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing