ভাষা মডেলকে প্রায়ই টোকেন ধরে ধরে উত্তর তৈরি করতে বলা হয়, অথচ সফটওয়্যারের কেবল সীমিত কিছু বিকল্প থেকে একটি বেছে নিতে হয়। যে ব্যাংক গ্রাহক বলেন একই ট্রান্সফারের জন্য তাঁর দুইবার চার্জ কাটা হয়েছে, তাঁকে একটি সহায়তা দলের কাছে পাঠাতে হয়, এবং JSON লেবেল তৈরি করলে সেই সিদ্ধান্তে অপ্রয়োজনীয় টেক্সট জেনারেশন ও পার্সিং যুক্ত হয়।
এই নিবন্ধে সাতটি উন্মুক্ত "Jev" সিদ্ধান্ত মডেলকে একটি Qwen JSON-জেনারেশন বেসলাইনের বিরুদ্ধে পরীক্ষা করা হয়েছে। উত্তর তৈরি না করে Jev-ধাঁচের মডেলগুলি উপলব্ধ প্রার্থীদের স্কোর করে এবং একটি টাইপড সিদ্ধান্ত ফেরত দেয়। তুলনায় স্থির রুট তালিকা এবং পরিবর্তনশীল প্রার্থী মেনু উভয় ধরনের ব্যাংকিং অনুরোধ অন্তর্ভুক্ত, যা গুরুত্বপূর্ণ কারণ এজেন্ট টুল ও ওয়ার্কফ্লোর বিকল্প প্রায়শই রানটাইমে বদলায়।
Kev নির্ভুলতায় এগিয়ে ছিল, স্থির রুট ও পরিবর্তনশীল প্রার্থী উভয় ক্ষেত্রেই ৯৮% পর্যন্ত পৌঁছে। Verdict পরিবর্তনশীল প্রার্থীতে ৮৯% অর্জন করে, যেখানে LLM বেসলাইন Qwen3-0.6B-এর স্কোর ছিল ৬৬%, এবং স্থির রুটে সেটির স্কোর ছিল ৮৩%। তিনটি Qwen রিডআউট কনফিগারেশনের চেয়ে JSON জেনারেশন তবুও ভালো ফল দেখিয়েছে। Kev ও Verdict উভয়ই শূন্য উত্তর টোকেন তৈরি করেছে, যেখানে Qwen JSON জেনারেশনে প্রতি অনুরোধে প্রায় ১০টি টোকেন লাগে।
রেকর্ড করা মধ্যমা অনুরোধ বিলম্ব Kev-এর জন্য ১২৫–১৩০ ms এবং Verdict-এর জন্য ১৭–১৮ ms, যেখানে দুই প্যানেল জুড়ে LLM বেসলাইনের জন্য ছিল ৩৩১–৩৫৭ ms। যেসব পাঠক একটি সিদ্ধান্ত মডেল ব্যবহার করে দেখতে চান এবং JSON জেনারেশনের সঙ্গে সরাসরি রিডআউটের তুলনা করতে চান, তাদের জন্য স্টার্টার কিট ও বেঞ্চমার্ক উপলব্ধ আছে।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing