Artikel ini menjelaskan cara membangun model keputusan menggunakan model bahasa besar (LLM) dengan membatasi output ke sekumpulan pilihan tetap, seperti A hingga E. Berbeda dengan model bahasa standar yang menghasilkan token secara berurutan, model keputusan seperti Jev mengasumsikan pilihan tetap dan membuat prediksi dalam satu kali proses. Penulis menunjukkan teknik ini menggunakan model Qwen/Qwen3-1.7B, dengan menerapkan dekoding terbatas untuk membatasi output pada token yang telah ditentukan sebelumnya. Dengan menyembunyikan semua item kosakata lain, model hanya dapat mengeluarkan pilihan yang valid, dan token dengan probabilitas tertinggi dipilih sebagai jawaban.
Pendekatan ini diuji pada kumpulan data CommonsenseQA, mencapai akurasi 59,38% tanpa fine-tuning. Setelah fine-tuning cepat, akurasi meningkat menjadi 62,41%. Artikel ini juga menyoroti keterbatasan: probabilitas token output tidak selalu mencerminkan kepercayaan yang benar pada kebenaran, terutama pada pertanyaan yang ambigu. Penulis memberikan implementasi Python lengkap menggunakan Hugging Face Transformers dan PyTorch, yang menunjukkan cara memformat prompt, memuat model, dan menghitung probabilitas untuk setiap opsi. Metode ini menawarkan cara ringan untuk menggunakan kembali LLM untuk tugas reasoning pilihan ganda.
Entitas kunci: Perusahaan: Hugging Face, Qwen
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing