Merutekan permintaan antar-LLM untuk menghemat biaya terdengar sederhana: kirim tugas mudah ke model murah dan tugas sulit ke model frontier. Namun, berpindah model di tengah sesi memiliki biaya tersembunyi. Model baru belum pernah melihat riwayat percakapan, sehingga ia harus memproses ulang seluruh sesi dari awal dengan harga penuh. Prefill cache dingin ini bisa menjadi salah satu operasi termahal dalam layanan LLM.
Sebuah studi Microsoft Azure Research pada Agustus 2026, yang mencakup 13,5 juta sesi GitHub Copilot dan 760 juta panggilan model, menggambarkan masalah ini. Dalam satu giliran, sekitar 90% prompt dapat digunakan kembali dari cache. Saat melewati batas giliran dengan model yang sama, angka itu turun menjadi 55%, dan saat berpindah model hanya 8%. Sekitar 6,4% sesi berpindah model, sering kali karena galat atau batas laju, yang berarti banyak pengguna membayar biaya ini tanpa disengaja.
Untuk mengukur dampaknya secara langsung, penulis menjalankan sesi agen identik berisi 20 giliran melalui tiga kebijakan routing pada server vLLM dengan prefix caching: routing lengket (sticky), pergantian per permintaan, dan pergantian di batas fase. Routing per permintaan di gateway merusak cache hampir dua kali lipat dibandingkan routing lengket dan hanya menghasilkan 13 dari 40 poin persentase penghematan yang tersirat dari selisih harga mentah. Routing batas fase, yang hanya berpindah saat satu tahap alur kerja agen selesai, meraih 29 poin tersebut. Kebijakan yang tidak memperhitungkan cache pada model frontier menelan biaya 4,88 kali lebih besar daripada baseline yang sadar cache, meski memproses token yang sama.
Pelajaran bagi siapa pun yang mengoperasikan agen LLM: penghematan routing bergantung bukan hanya pada harga model, tetapi juga pada cara routing berinteraksi dengan state dan penggunaan ulang cache. Routing adalah keputusan manajemen state sama seperti keputusan harga, dan harness adalah tempat state itu berada.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing