24 সেপ্টেম্বর, 2026 প্রত্যেক বিকল্পের জন্য একটি সম্ভাব্যতা সহ টাইপকৃত সিদ্ধান্ত, একটি সিঙ্গেল ফরওয়ার্ড পাসে: একটি LLM এর মাধ্যমে Jev এর নির্ভুলতা ও গতির সাথে মিল. মার্কো রোসেনমুলার, পিএचডি প্রযুক্তি লিড AITL; ডিআর: এই পোস্টে, আমরা দেখাচ্ছি কিভাবে একটি অফ-দা-শেল্ফ LLM একটি সিঙ্গেল ফরওয়ার্ড পাসে টাইপকৃত সিদ্ধান্ত নিতে পারে। এই প্রন্তাসটি একটি LLM কে Jev-সদৃশ সিদ্ধান্ত মডেলে রূপান্তর করার অনুমতি দেয়। আমরা GLM-5.3-Flash ব্যবহার করে প্রতিমূল্যায়ন করেছি যা Privatemode এ চলছে। একটি বেঞ্চমার্ক ব্যবহার করে যা পাবলিক ডেটা সেট থেকে তৈরি করা হয়েছে, আমরা দেখাচ্ছি যে এই সেটআপ সিদ্ধান্ত নির্ভুলতা/সঠিকতা এবং গতির ক্ষেত্রে Type Safe এর Jev এর সাথে সমান ফলাফল দেয়। একটি বোনাস হিসাবে, GLM-5.3-Flash সহ সেটআপ ছবিগুলোর জন্য টাইপকৃত সিদ্ধান্ত সক্ষম করে, যা Jev এর সাথে সম্ভব নয়। কিভাবে কাজ করে প্লেগ্রাউন্ড বেঞ্চমার্ক কেন টাইপকৃত সিদ্ধান্ত প্রয়োজন সফ্টওয়ার বেশিরভাগ কিছু যা একটি LLM এ অনুরোধ করে হলো একটি সিদ্ধান্ত। "কোন টিম এই টিকেটটি হ্যান্ডেল করবে?", অথবা "কি এই চুক্তির শর্তটি দায়ীত্ব বিভাগে আবেদন করে?"। এরকম ক্ষেত্রে, সফ্টওয়ার সাধারণত অনুরোধ করে যে LLM এর উত্তর একটি নির্দিষ্ট ফরম্যাট যেমন JSON অনুসরণ করা উচিত এবং এটি একটি পূর্ব-সংজ্ঞাত সেট থেকে আসা উচিত যেমন "হ্যাঁ" এবং "না"। সঠিক নির্দেশাবলী দিয়ে, LLM সাধারণত ইতিমধ্যে এটি বিশ্বসনীয়ভাবে পূর্ণ করতে পারে। তবে, মূল প্রন্তাসে, গতি এবং খরচ একটি সমস্যা হয়ে দেয়: প্রত্যেক সিদ্ধান্তের জন্য, LLM একটি পুরো JSON অবজেক্ট লেখা প্রয়োজন, এবং একটি যুক্তি মডেল তার আগে শতাধিক টোকন চিন্তা করতে পারে। এছাড়া, আপনি মডেলের আত্মবিশ্বাস ও শেখেন না (তবে আপনি স্পষ্টভাবে অনুরোধ করলে)। এই সমস্ত প্রসঙ্গ প্রায়শীত বহুল প্রয়োজনীয় হতে পারে এবং এখনো পর্যন্ত লোগোদের উচ্চ-আয়াম/উচ্চ-স্থিতি পরিবেশে LLM ব্যবহার করে সিদ্ধান্ত গ্রহণ থেকে বিরত রাখে। বিশোয়িত সিদ্ধান্ত মডেল (অা "সিস্টেম ওয়ান" মডেল) যেমন Jev এবং Laya এই সমস্যার সমাধান করার জন্য ডিজাইন করা হয়েছে। আপনি একটি অবস্থা এবং একটি নামকরা বিকল্পের সেট প্রদান করেন, এবং আপনি প্রত্যেকের জন্য একটি বিশ্বাস মান (প্রসবিততা) সহ নির্বাচিত বিকল্পটি ফিরে পাবেন। একটি LLM কে সিদ্ধান্ত মডেলে রূপান্তর করা প্রাথমিকভাবে, আমরা জিজ্ঞাসা করেছিলাম কি একটি LLM Jev-সদৃশ বৈশিষ্ট্য সহ একটি সিদ্ধান্ত মডেলে রূপান্তর করা সম্ভব কি না। সংক্ষিপ্ত উত্তর হলো: "হ্যাঁ"। নিম্নলিখিতে, আমরা কিভাবে কাজ করে তা দেখাচ্ছি। আমাদের প্রন্তাসটি বোঝার জন্য, এটি গুরুত্বপূর্ণ যে LLM কিভাবে কাজ করে তা বোঝা: একটি LLM কখনো সরলভাবে লেখে না। একটি প্রম্পট দেয়া হলে, একটি LLM তার সম্পূর্ণ শব্দভান্ডারের টোকনের উপর একটি সম্ভাবনা বিতরণ আউটপুট করে। টেক্সট প্রসন্ননে, সবচেয়ে সাধারণ ক্ষেত্রে, সর্বোচ্চ সম্ভাবনা সহ টোকনটি পরবর্তী টোকন হিসাবে নির্বাচন করা হয়। নির্বাচিত টোকনটি তারপর প্রম্পটে যোগ করা হয় এবং সম্পূর্ণ প্রক্রিয়াটি পুনরায় ঘটে। উপরে বর্ণিতের অনুসারে, এটি মহংগ্য এবং ধীর যদি আপনি কেবল একটি JSON অবজেক্টের কয়েকটি ক্ষেত্র সেট করতে চান। আমাদের কেন্দ্রীয় অন্তর্দৃষ্টি হলো যে LLM এর পুরো JSON অবজেক্ট পূর্বানুমান দেওয়া প্রয়োজন নয়, কারণ আমরা ইতিমধ্যে জানি এটির আকার। আমরা কেবল একটি দেওয়া ইনপুটের জন্য LLM এর টাইপকৃত বিচার চাই। আমরা বুঝেছি যে এমন প্রম্পট তৈরি করা সম্ভব যেখানে আমরা একটি সিঙ্গেল রানে LLM এর টাইপকৃত বিচার পাই — কোনো ফাইন-টিউনিং নয়, মডলটি ঠিক যেভাবে যেহেতু শিপ হয়। এটি Jev এবং Laya থেকে পার্থক্য, যেগুলো উদ্দেশ্যের জন্য প্রশিক্ষিত মডেল। মূল ধাপগুলো হলো নম্বর বিকল্প। অবস্থা, প্রশ্ন এবং আউটপুট বিকল্পগুলো প্রম্পটে JSON হিসাবে যায়, প্রত্যেক বিকল্পে একটি সূচক থাকে। নির্দেশটি মডেলকে অনুরোধ করে যে প্রথম আউটপুট টোকনটিকে সিদ্ধান্ত উত্তর হিসাবে নেয়...