GitHub - firelex/jeff: Fine-tune Qwen3.5 dan Gemma 4 untuk klasifikasi zero-shot: model keputusan kecil dan cepat yang Anda masukkan ke dalam kode, dengan format permintaan yang sama seperti Jev. Anda menjelaskan situasi dan mendaftar opsi dalam kata-kata sederhana; Jeff mengembalikan probabilitas terkalibrasi untuk setiap opsi dari satu forward pass. Tanpa teks yang dihasilkan, tanpa parsing: sekitar 22 ms per keputusan pada RTX PRO 6000 dan 28 ms pada Apple M4 Max (MLX).

Zero-shot berarti opsinya bisa apa saja: antrian dukungan, niat pengguna, label moderasi, perintah suara, gerakan game. Kategori Anda tidak perlu muncul dalam data pelatihan; Anda mendeskripsikannya, dan Jeff memilih. Ini adalah model yang sangat kecil. Mereka membuat penilaian yang sangat cepat dan terkalibrasi dengan baik antar opsi, dan mudah dimasukkan ke dalam kode lokal Anda. Pada tolok ukur, mereka mendekati, dan terkadang mengalahkan, Jev; tetapi pada ukuran ini, penalaran mereka tidak akan menyamai Jev, yang berjalan pada model yang jauh lebih besar.

Dibangun sepenuhnya pada perangkat keras lokal. Pelatihan pada satu GPU workstation RTX PRO 6000 (0.8B dilatih dalam waktu sekitar 2 jam, 2B dalam waktu sekitar 3,5), semua data pelatihan sintetis ditulis oleh model terbuka (Qwen3.8-Flash-Next) pada dua DGX Sparks, pengujian pada Mac Book. Tidak ada GPU cloud, dan tidak ada output model tertutup dalam data pelatihan. Jeff menggunakan format permintaan yang sama seperti Jev, tetapi tidak berafiliasi atau didukung oleh Type Safe, pembuat Jev. Model di Hugging Face: Jeff-Qwen3.5-0.8B, Jeff-Qwen3.5-2B, Jeff-Gemma4-E2B.

Tolok ukur: 4.599 pertanyaan dari lima tolok ukur publik, ditambah tingkat sulit publik Jev Bench. Skor keseluruhan Jeff menyamai atau mengalahkan Jev dalam klasifikasi dan grounding.