Model bahasa sering diminta menghasilkan jawaban token demi token, padahal perangkat lunak hanya perlu memilih dari sekumpulan opsi terbatas. Nasabah bank yang menyatakan telah ditagih dua kali untuk transfer yang sama perlu diarahkan ke tim dukungan, dan menghasilkan label JSON menambahkan pembuatan dan penguraian teks yang tidak perlu ke keputusan tersebut.
Artikel ini menguji tujuh model keputusan "Jev" terbuka terhadap baseline pembuatan JSON Qwen. Alih-alih menghasilkan jawaban, model bergaya Jev memberi skor pada kandidat yang tersedia dan mengembalikan keputusan bertipe. Perbandingan ini mencakup permintaan perbankan dengan daftar rute tetap maupun menu kandidat yang berubah, yang penting karena alat agen dan opsi alur kerja sering berubah saat runtime.
Kev memimpin dalam akurasi, mencapai 98% baik pada rute tetap maupun kandidat yang berubah. Verdict mencapai 89% pada kandidat yang berubah, dibandingkan dengan 66% untuk baseline LLM Qwen3-0.6B, yang meraih 83% pada rute tetap. Pembuatan JSON tetap mengungguli ketiga konfigurasi pembacaan Qwen. Baik Kev maupun Verdict tidak menghasilkan token jawaban sama sekali, sedangkan pembuatan JSON Qwen menghasilkan sekitar 10 token per permintaan.
Latensi median permintaan yang tercatat adalah 125–130 ms untuk Kev dan 17–18 ms untuk Verdict, dibandingkan dengan 331–357 ms untuk baseline LLM di kedua panel. Starter kit dan benchmark tersedia bagi pembaca yang ingin mencoba model keputusan dan membandingkan pembuatan JSON dengan pembacaan langsung.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing