GitHub - firelex/jeff: জিরো-শট শ্রেণীবিভাগের জন্য Qwen3.5 এবং Gemma 4-এর ফাইন-টিউন: ছোট, দ্রুত সিদ্ধান্ত মডেল যা আপনি আপনার কোডে বসাতে পারেন, Jev-এর মতো একই অনুরোধ ফরম্যাটে। আপনি একটি পরিস্থিতি বর্ণনা করেন এবং সরল ভাষায় বিকল্পগুলি তালিকাভুক্ত করেন; Jeff একটি একক ফরোয়ার্ড পাস থেকে প্রতিটি বিকল্পের জন্য একটি ক্যালিব্রেটেড সম্ভাবনা ফেরত দেয়। কোনো জেনারেটেড টেক্সট নেই, কোনো পার্সিং নেই: একটি RTX PRO 6000-এ প্রতি সিদ্ধান্তে প্রায় 22 ms এবং একটি Apple M4 Max (MLX)-এ 28 ms।
জিরো-শট মানে বিকল্পগুলি যেকোনো কিছু হতে পারে: সাপোর্ট কিউ, ব্যবহারকারীর উদ্দেশ্য, মডারেশন লেবেল, ভয়েস কমান্ড, গেম মুভ। আপনার ক্যাটাগরিগুলিকে প্রশিক্ষণ ডেটাতে উপস্থিত থাকতে হবে না; আপনি সেগুলি বর্ণনা করেন, এবং Jeff বেছে নেয়। এগুলি খুব ছোট মডেল। এগুলি বিকল্পগুলির মধ্যে অত্যন্ত দ্রুত, সু-ক্যালিব্রেটেড বিচার করে, এবং সহজেই আপনার স্থানীয় কোডে ফিট হয়। বেঞ্চমার্কে এগুলি Jev-এর কাছে পৌঁছায়, এবং কখনও কখনও তাকে হারায়; কিন্তু এই আকারে তাদের যুক্তি Jev-এর সাথে মিলবে না, যা অনেক বড় মডেলে চলে।
সম্পূর্ণরূপে স্থানীয় হার্ডওয়্যারে নির্মিত। একটি RTX PRO 6000 ওয়ার্কস্টেশন GPU-তে প্রশিক্ষণ (0.8B প্রায় 2 ঘন্টায় প্রশিক্ষণ নেয়, 2B প্রায় 3.5-এ), সমস্ত সিন্থেটিক প্রশিক্ষণ ডেটা দুটি DGX Sparks-এ একটি ওপেন মডেল (Qwen3.8-Flash-Next) দ্বারা লেখা, Mac Book-এ পরীক্ষা। কোনো ক্লাউড GPU নেই, এবং প্রশিক্ষণ ডেটাতে কোনো ক্লোজড-মডেল আউটপুট নেই। Jeff Jev-এর মতো একই অনুরোধ ফরম্যাট ব্যবহার করে, কিন্তু এটি Type Safe, Jev-এর নির্মাতাদের, সাথে অনুমোদিত বা সমর্থিত নয়। Hugging Face-এ মডেল: Jeff-Qwen3.5-0.8B, Jeff-Qwen3.5-2B, Jeff-Gemma4-E2B।
বেঞ্চমার্ক: পাঁচটি পাবলিক বেঞ্চমার্ক থেকে 4,599টি প্রশ্ন, plus Jev Bench-এর পাবলিক হার্ড টিয়ার। শ্রেণীবিভাগ এবং গ্রাউন্ডিং-এ Jeff-এর সামগ্রিক স্কোর Jev-এর সাথে মেলে বা তাকে হারায়।