HeadlinesBriefing favicon HeadlinesBriefing.com

OpenJev Eksperimen Model Keputusan Browser

Hacker News •
×

openjev menyajikan eksperimen berbasis browser yang mengeksplorasi apakah model keputusan dapat berjalan secara lokal tanpa ketergantungan backend. Proyek ini memungkinkan pengguna untuk memilih ukuran model, termasuk Mini CPM 5 2B sebagai default atau Qwen3 0.6B untuk perangkat yang lebih kecil, dan mengukur perbedaan kinerja antara pembacaan probabilitas langsung dan generasi token demi token. Pengguna memuat bobot terkuantisasi dari Hugging Face, yang tetap disimpan secara lokal, dengan input yang seluruhnya tetap di halaman.

Eksperimen membandingkan dua metode: pembacaan langsung, yang menormalkan softmax melintasi opsi yang disediakan tanpa mendekode, dan generasi, yang meminta model untuk menulis probabilitas opsi sebagai teks JSON token demi token. Kedua metode dijalankan secara berurutan pada model yang sama yang dimuat untuk menghindari pertarungan GPU. Bobot berasal dari Hugging Face dan persisten di cache browser.

Pemuatan model pertama dapat memakan waktu beberapa menit tergantung pada pilihan, jaringan, dan perangkat keras. Demo menggunakan build GGUF yang dipasang melalui wllama, menyatakan bahwa kuantisasi memengaruhi baik kualitas maupun kecepatan. Eksperimen lokal ini menawarkan akses instan tanpa daftar tunggu, memungkinkan pengguna untuk menguji kinerja model keputusan langsung di lingkungan browser mereka.