24 सितंबर, 2026 प्रत्येक विकल्प के लिए एक संभाविता के साथ टाइप किए गए निर्णय, एकल फॉरवर्ड पास में: एक LLM के माध्यम से Jev की सटीकता और गति के बराबर। मार्को रोसेनमुलर, पीएचडी तकनीकी लीड AITL; डीआर: इस पोस्ट में हम दिखाते हैं कि एक ऑफ-द-शेल्फ LLM एकल फॉरवर्ड पास में टाइप किए गए निर्णय कैसे ले सकता है। यह एन्द्रोक्स एक LLM को Jev-जैसे निर्णय मॉडल में बदलने की अनुमति देता है। हम GLM-5.3-Flash का उपयोग करके Privatemode पर चलाते हुए इस एन्द्रोक्स का मूल्यांकन करते हैं। एक बेंचमार्क का उपयोग करके जो सार्वजनिक डेटा सेटों से बनाया गया है, हम दिखाते हैं कि यह सेटअप निर्णय सटीकता/सही तरीके और गति में Type Safe के Jev के बराबर परिणाम देता है। एक बोनस के रूप में, GLM-5.3-Flash के साथ सेटअप छवियों पर टाइप किए गए निर्णय की अनुमति देता है, जो Jev के साथ संभव नहीं है। कैसे काम करता है प्लेग्राउंड बेंचमार्क टाइप किए गए निर्णय क्यों आवश्यक हैं सॉफ्टवेयर बहुत कुछ जिसके बारे में एक LLM से निर्णय लेता है। "किस टीम को इस टिकट को हैंडल करना चाहिए?", या "क्या यह अनुबंध की शर्त उत्तरदायित्व विभाग में आती है?"। ऐसे मामलों में, सॉफ्टवेयर आमतौर पर यह आवश्यक करता है कि LLM का उत्तर किसी फॉर्मेट जैसे JSON का पालन करे और यह किसी पूर्व-परिभाषित सेट जैसे "हाँ" और "नहीं" से आए। सही निर्देशों के साथ, LLM आमतौर पर पहले से ही विश्वसनीय तरीके से यह कर सकते हैं। हालांकि, बुनियादी एन्द्रोक्स में, गति और लागत समस्या बन जाती है: प्रत्येक निर्णय के लिए, LLM को पूरा JSON ऑब्जेक्ट लिखना होगा, और एक तर्क मॉडल इससे पहले हजारों टोकन सोच सकता है। इसके अलावा, आप मॉडल का विश्वास भी नहीं सीखते (हालांकि आप इसे स्पष्ट रूप से पूछ सकते हैं)। ये सारे पहलू व्यवहार में बहुत महत्वपूर्ण हो सकते हैं और अभी तक लोगों को उच्च-आयाम/उच्च-थ्रूपुट स्थितियों में निर्णय लेने के लिए LLM उपयोग करने से रोक रहे हैं। विशेष निर्णय मॉडल (या "सिस्टम वन" मॉडल) जैसे Jev और Laya इस समस्या को हल करने के लिए डिजाइन किए गए हैं। आप एक स्थिति और एक नामित विकल्पों के सेट प्रदान करते हैं, और आपको चुने गए विकल्प और प्रत्येक के लिए एक विश्वास मान (अर्थात् संभाविता) वापस मिलती है। एक LLM को निर्णय मॉडल में बदलना प्रारंभ में, हमने पूछा कि क्या एक LLM Jev-जैसे गुणों वाले निर्णय मॉडल में बदला जा सकता है। छोटा उत्तर है: "हाँ"। निम्नलिखित में हम दिखाते हैं कि यह कैसे काम करता है। हमारे एन्द्रोक्स को समझने के लिए, यह महत्वपूर्ण है कि LLM कैसे काम करते हैं: एक LLM कभी-कभी तकनीक नहीं लिखता। एक प्रॉम्प्ट दिए जाने पर, एक LLM अपने पूरे शब्दावली में टोकन की एक संभावना वितरण आउटपुट करता है। टेक्स्ट जनरेशन में, सबसे सामान्य मामले में, सबसे अधिक संभावना वाला टोकन अगला टोकन के रूप में चुना जाता है। चुना गया टोकन फिर प्रॉम्प्ट में जोड़ा जाता है और पूरी प्रक्रिया दोहराई जाती है। ऊपर वर्णित के अनुसार, यदि आप केवल किसी JSON ऑब्जेक्ट में कुछ फील्ड सेट करना चाहते हैं, तो यह महंगा और धीमा है। हमारी केंद्रीय अंतर्दृष्टि यह है कि LLM को पूरा JSON ऑब्जेक्ट प्रेडिक्ट करने की आवश्यकता नहीं है, क्योंकि हमें पहले से ही इसकी आकार ज्ञात है। हमें केवल LLM के टाइप किए गए निर्णय की आवश्यकता है एक दिए गए इनपुट के लिए। हमने महसूस किया कि यह संभव है कि प्रॉम्प्ट्स को इस तरह डिजाइन किया जाए कि हमें एकल रन में टाइप किए गए निर्णय मिले — कोई फाइन-ट्यूनिंग नहीं, मॉडल ठीक वैसे ही जैसा यह शिप होता है। यह Jev और Laya से अंतर है, जो मॉडल हैं जिन्हें इस उद्देश्य के लिए प्रशिक्षित किया गया है। मूल चरण ये हैं: विकल्पों को नंबर दें। स्थिति, प्रश्न और आउटपुट विकल्प प्रॉम्प्ट में JSON के रूप में जाते हैं, हर विकल्प पर एक इंडेक्स होता है। निर्देश मॉडल से पहले आउटपुट टोकन को निर्णय उत्तर के रूप में लेने के लिए कहता है...