Jev adalah model klasifikasi "System One" baru dari Type Safe. Nama ini terinspirasi dari buku Daniel Kahneman, Thinking, Fast and Slow, di mana ia membedakan antara pemikiran System One yang cepat dan naluriah dengan pemikiran System Two yang lebih lambat dan sadar. Model bahasa besar (LLM) seperti Claude atau GPT adalah model System Two, sedangkan "model keputusan" seperti Jev dan pendahulunya (misalnya Laya) adalah System One.
Jev mengambil transformer yang sudah dilatih dan menambahkan pengklasifikasi di ujungnya, memungkinkannya menggunakan konteks baru secara langsung sambil bertindak sebagai pengklasifikasi. Anda memberikan konteks dan pertanyaan pilihan ganda, dan ia mengembalikan distribusi probabilitas atas pilihan-pilihan tersebut. Seluruh rangkaian eksperimen di bawah ini menghabiskan biaya kurang dari $4.00.
Saya menguji kalibrasi Jev menggunakan distribusi fisik yang dipahami dengan baik, seperti distribusi Maxwell-Boltzmann. Saya memilih 10 distribusi kandidat, 5 templat prompt per distribusi, dan 20 variasi per prompt, menghasilkan total 1.000 pengaturan. GPT-6 Astra dan Claude Opus 5.5 digunakan untuk mengimplementasikan eksperimen, menulis templat prompt, dan panggilan API.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing