24 September 2026 Keputusan terinput dengan probabilitas untuk setiap opsi, dalam satu forward pass: mencocokkan akurasi dan kecepatan Jev dengan LLM. Marko Rosenmüller, Ph. D.

Technical Lead AITL; DR: Dalam posting ini, kami menunjukkan bagaimana LLM siap pakai dapat membuat keputusan terinput dalam satu forward pass. Pendekatan ini memungkinkan untuk mengubah LLM menjadi model keputusan seperti Jev. Kami mengevaluasi pendekatan menggunakan GLM-5.3-Flash yang berjalan di Privatemode.

Menggunakan benchmark yang dibuat dari dataset publik, kami menunjukkan bahwa konfigurasi ini deliver hasil yang sebanding dengan Jev dari Type Safe dalam hal akurasi/kebenaran keputusan dan kecepatan. Sebagai bonus, konfigurasi dengan GLM-5.3-Flash mengaktifkan keputusan terinput pada gambar, yang tidak mungkin dengan Jev. Bagaimana cara kerjanya Playground Benchmark Mengapa keputusan terinput Banyak hal yang software minta dari LLM adalah keputusan. "Tim mana yang harus menangani tiket ini?", atau "Apakah klausul kontrak ini termasuk dalam bagian tanggung jawab?".

Dalam kasus tersebut, software biasanya meminta respons LLM mengikuti format tertentu seperti JSON dan berasal dari himpunan pradefinisi seperti "ya" dan "tidak". Dengan instruksi yang tepat, LLM biasanya sudah dapat memenuhi ini dengan andal. Namun, dalam pendekatan dasar, kecepatan dan biaya menjadi masalah: Untuk setiap keputusan, LLM perlu menulis seluruh objek JSON, dan model reasoning mungkin berpikir ratusan token sebelum itu.

Selain itu, Anda juga tidak belajar kepercayaan model (kecuali Anda secara eksplisit memintanya). Semua aspek ini dapat sangat penting dalam praktik dan sejauh ini mencegah orang menggunakan LLM untuk pengambilan keputusan dalam skenario high-volume/high-throughput. Model keputusan khusus (atau model "System One") seperti Jev dan Laya dirancang untuk mengatasi ini.

Anda masukkan sepotong state dan satu set opsi bernama, dan Anda kembali opsi yang dipilih bersama nilai kepercayaan (yaitu, probabilitas) untuk masing-masing. Mengubah LLM menjadi model keputusan Mula-mula, kami bertanya pada diri sendiri apakah LLM dapat diubah menjadi model keputusan dengan sifat seperti Jev. Jawaban singkatnya: "ya".

Berikut, kami menunjukkan bagaimana cara kerjanya. Untuk memahami pendekatan kami, penting untuk memahami bagaimana LLM bekerja: LLM never menulis teks langsung. Diberi prompt, LLM mengeluarkan distribusi probabilitas atas seluruh vocabulary token-nya.

Dalam generate teks, dalam kasus paling sederhana, token dengan probabilitas tertinggi dipilih sebagai token berikutnya. Token yang dipilih kemudian ditambahkan ke prompt dan seluruh proses diulang. Seperti yang dijelaskan di atas, ini mahal dan lambat jika Anda hanya ingin mengatur beberapa field dalam objek JSON.

Inti insight kami adalah tidak perlu bagi LLM untuk memprediksi seluruh objek JSON, karena kita sudah mengetahui bentuknya. Kami hanya tertarik pada keputusan terinput LLM untuk suatu input. Kami realized bahwa memungkinkan untuk craft prompts sehingga kami mendapatkan keputusan terinput dalam satu run LLM — tanpa fine-tuning, pada model tepat seperti yang dikirimkan.

Ini adalah perbedaan dengan Jev dan Laya, yang adalah model yang dilatih untuk tujuan tersebut. Langkah dasar adalah sebagai berikut: Number the options. The state, the question, and the output options go into the prompt as JSON, dengan indeks pada setiap opsi.

Instruksi meminta model untuk an...