Agen berbasis LLM dapat tampak mampu mengerjakan banyak tugas, termasuk menulis kode, meringkas makalah, merencanakan perjalanan, dan mengisi formulir. Ketika diminta memberikan probabilitas atau skor keyakinan, mereka dengan senang hati memberikannya. Banyak perancang agen menggunakan LLM untuk menghasilkan skor keyakinan dengan cara ini, tetapi tidak ada alasan kuat untuk mempercayai angka tersebut.
Untuk memahami alasannya, ada baiknya kita memahami arti keyakinan. Bayangkan seorang peramal cuaca yang berkata, "Saya yakin 70% bahwa besok akan hujan." Keyakinannya berasal dari informasi yang ia gunakan, seperti tekanan udara saat ini, kelembapan, dan radar, beserta catatan cuaca selama bertahun-tahun. Secara teori, mengubah informasi ini menjadi keyakinan adalah sebuah perhitungan. Dua peramal dengan informasi yang sama yang menerapkan aturan yang sama secara benar seharusnya sampai pada keyakinan yang sama. Jika mereka berbeda pendapat, itu karena mereka memiliki informasi yang berbeda atau salah satunya menerapkan aturan dengan keliru.
Akurasi hanya dapat dinilai dari banyak prediksi. Jika seorang peramal menyebut 70% pada banyak hari dan hujan turun sekitar 70% dari hari-hari itu, ramalannya terkalibrasi. Namun, kalibrasi saja tidak cukup. Peramal yang selalu menyebut 30%, yaitu rata-rata musiman, memang terkalibrasi tetapi tidak menggunakan informasi apa pun tentang besok. Peramal yang berguna terkalibrasi sekaligus memberikan skor keyakinan yang mendekati 10% atau 90% ketika bukti mendukungnya.
Oleh karena itu, skor keyakinan yang dapat dipercaya memerlukan dua hal: skor tersebut harus mencerminkan seberapa banyak informasi yang tersedia dan mengarah kuat ke satu arah, serta harus diperiksa terhadap catatan tertulis tentang prediksi dan hasilnya. Tanpa catatan itu, tidak ada cara untuk mengetahui apakah sebuah skor akurat. Penulis berpendapat bahwa keyakinan yang dihasilkan sendiri oleh LLM tidak memenuhi kedua syarat tersebut, dan karena itu mengandalkannya adalah ide yang buruk.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing