Ketika sebuah aplikasi mengadopsi model bahasa besar (LLM), mereka biasanya memilih model yang paling mampu. Ini berarti setiap permintaan dikirim ke model yang mahal tersebut. Meskipun pendekatan ini lebih mudah diimplementasikan, bisa menjadi cukup mahal dalam jangka panjang. Misalnya, permintaan seperti "klasifikasikan tiket dukungan ini sebagai penagihan, teknis, atau terkait akun" tidak memerlukan tingkat penalaran yang sama dengan "selidiki mengapa catatan keuangan ini tidak cocok dengan benar dan jelaskan kemungkinan penyebabnya".

Dengan routing model cerdas, kita dapat memecahkan masalah ini. Dalam pendekatan routing seperti ini, kita memilih model tertentu untuk setiap permintaan. Dengan kata lain, pekerjaan sederhana dikirim ke model kecil yang mungkin lebih murah, dan pekerjaan sulit diarahkan ke model yang lebih mampu. Jika sebagian besar permintaan sederhana, pendekatan ini dapat mengurangi biaya total secara signifikan, kadang-kadang bahkan sekitar 10 kali lipat. Selain itu, kualitas respons tidak menurun secara signifikan.

Namun, pengurangan biaya tidak dijamin. Ini juga tergantung pada jenis permintaan yang diterima aplikasi, perbedaan harga antar model, dan seberapa baik sistem routing bekerja. Biaya total menggunakan API LLM biasanya tergantung pada jumlah token yang diproses. Token input mencakup pesan pengguna, instruksi sistem, riwayat percakapan, dan dokumen apa pun yang diberikan ke model. Token output adalah token yang dihasilkan dalam respons. Model yang lebih besar dan lebih mampu umumnya lebih mahal karena membutuhkan lebih banyak sumber daya komputasi.

Misalnya, bayangkan aplikasi dukungan pelanggan yang harus memproses satu juta permintaan per bulan. Jika setiap permintaan pergi ke model paling kuat, perusahaan harus membayar harga premium bahkan untuk pekerjaan yang cukup sederhana. Anda bisa menganggap ini seperti mempekerjakan arsitek perangkat lunak senior untuk mengganti nama file, mengurutkan tiket dukungan, dan memformat tanggal—pemborosan kemampuan dan manajemen sumber daya yang buruk.