भाषा मॉडलों से अक्सर टोकन-दर-टोकन उत्तर उत्पन्न करने को कहा जाता है, जबकि सॉफ़्टवेयर को केवल सीमित विकल्पों में से चुनने की आवश्यकता होती है। एक बैंकिंग ग्राहक जो कहता है कि उसी ट्रांसफ़र के लिए उससे दो बार शुल्क लिया गया, उसे सहायता टीम तक भेजना होता है, और JSON लेबल उत्पन्न करने से उस निर्णय में अनावश्यक पाठ जनरेशन और पार्सिंग जुड़ जाती है।
यह लेख सात खुले "Jev" निर्णय मॉडलों का परीक्षण Qwen JSON-जनरेशन बेसलाइन के विरुद्ध करता है। उत्तर उत्पन्न करने के बजाय, Jev-शैली के मॉडल उपलब्ध उम्मीदवारों को स्कोर करते हैं और एक टाइप्ड निर्णय लौटाते हैं। तुलना में स्थिर रूट सूचियों और बदलते उम्मीदवार मेनू, दोनों वाले बैंकिंग अनुरोध शामिल हैं, जो मायने रखता है क्योंकि एजेंट टूल और वर्कफ़्लो विकल्प अक्सर रनटाइम पर बदलते हैं।
Kev ने सटीकता में बढ़त बनाई, स्थिर रूट और बदलते उम्मीदवार दोनों पर 98% तक पहुँचकर। Verdict ने बदलते उम्मीदवारों पर 89% हासिल किया, जबकि LLM बेसलाइन Qwen3-0.6B के लिए यह 66% था, जिसने स्थिर रूट पर 83% स्कोर किया। JSON जनरेशन फिर भी तीनों Qwen रीडआउट कॉन्फ़िगरेशन से बेहतर रहा। Kev और Verdict दोनों ने शून्य उत्तर टोकन उत्पन्न किए, जबकि Qwen JSON जनरेशन में प्रति अनुरोध लगभग 10 टोकन लगे।
दर्ज की गई मध्यिका अनुरोध विलंबता Kev के लिए 125–130 ms और Verdict के लिए 17–18 ms थी, जबकि दोनों पैनलों में LLM बेसलाइन के लिए 331–357 ms थी। जो पाठक निर्णय मॉडल आज़माना चाहते हैं और JSON जनरेशन की तुलना सीधे रीडआउट से करना चाहते हैं, उनके लिए स्टार्टर किट और बेंचमार्क उपलब्ध हैं।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित