HeadlinesBriefing favicon HeadlinesBriefing.com

Klaim Kalibrasi Jev Diperdebatkan

Hacker News •
×

Jev, System One Model pertama Type Safe, menjanjikan probabilitas terkalibrasi untuk tugas klasifikasi tanpa data pelatihan. Artikel berargumen bahwa meskipun Jev dapat menghasilkan skor yang berguna, klaim kalibrasinya cacat. Kalibrasi bergantung pada model dan distribusi data; model yang dikalibrasi pada satu set data mungkin tidak terkalibrasi pada set data lainnya.

Penulis menyoroti contoh lemparan koin di mana Jev memprediksi probabilitas 0,92 untuk sisi kepala, menunjukkan miskalibrasi yang parah. Penulis merekomendasikan untuk memperlakukan output Jev sebagai skor peringkat alih-alih probabilitas yang andal dan menyarankan kalibrasi ulang yang murah menggunakan beberapa ratus contoh berlabel jika probabilitas yang tepat diperlukan. Artikel tersebut menekankan bahwa nilai Jev terletak pada kemampuannya untuk mengklasifikasikan tanpa data, tetapi pengguna harus memverifikasi kalibrasi pada data mereka sendiri sebelum mengandalkan ambang numerik atau perhitungan biaya.