Tidak setiap panggilan model perlu menghasilkan teks. Routing sering kali merupakan keputusan kecil yang tersembunyi di dalam sistem agen yang besar, namun banyak sistem meminta model bahasa decoder untuk menghasilkan pilihan itu token demi token. Sebuah router decoder tidak secara inheren salah. Ini berguna ketika kebijakan bersifat terbuka atau kumpulan rute berubah dengan cepat. Tetapi kumpulan rute yang stabil dan terbatas menciptakan masalah berbentuk klasifikasi yang harus diukur sebagai satu kesatuan.

Peluang praktisnya adalah lapisan keputusan: rute kandidat eksplisit, skor yang diketik, kebijakan ambang batas atau abstain, dan cabang perangkat lunak deterministik. Kebaruannya adalah primitif sistem baru, bukan penemuan kembali klasifikasi. Jev adalah contoh publik yang berguna dari antarmuka keputusan yang diketik dan probabilistik; arsitektur kepemilikan dan tujuan pelatihannya tidak bersifat publik.

Efisiensi dan akurasi harus didemonstrasikan, bukan diasumsikan. Bandingkan routing decoder, garis dasar encoder-plus-head, dan implementasi keputusan terstruktur pada rute, data, kebijakan, dan metrik evaluasi yang sama.

Model mental dominan AI modern adalah generatif: berikan prompt, lalu biarkan decoder memprediksi token berikutnya. Itu adalah kemampuan yang luar biasa, tetapi itu bukan satu-satunya bentuk kecerdasan mesin yang berguna. Banyak tindakan di dalam sistem agen adalah pertanyaan operasional yang terbatas: Spesialis mana yang harus menerima kasus ini? Apakah bukti cukup untuk melanjutkan? Haruskah sistem bertindak, meningkatkan, atau abstain?