Turning GLM-5.3-Flash into a Jev-like decision model

Sep 24, 2026 Typed decisions with a probability for every option, in a single forward pass: matching Jev's accuracy and speed with an LLM. Marko Rosenmüller, Ph D Technical Lead AITL; DR: In this post, we show how an off-the-shelf LLM can make typed decisions in a single forward pass. This approach makes it possible to turn an LLM into a Jev-like decision model.

We evaluate the approach using GLM-5.3-Flash running on Privatemode. Using a benchmark constructed from public data sets, we show that this setup delivers results that are on par with Type Safe's Jev in terms of decision accuracy/correctness and speed. As a bonus, the setup with GLM-5.3-Flash enables typed decisions on images, which is not possible with Jev.

How it works Playground Benchmark Why typed decisions Much of what software asks an LLM is a decision. "Which team should handle this ticket?", or "Does this contract clause belong in the liability section?". In such cases, software typically requires that the LLM's response follows a certain format like JSON and that it comes from a pre-defined set like "yes" and "no". Given the right instructions, LLMs can typically already fulfill this reliably.

However, in the basic approach, speed and costs become an issue: For each decision, the LLM needs to write a whole JSON object, and a reasoning model may think for hundreds of tokens before that. Further, you also don't learn the confidence of the model (unless you explicitly ask it). All these aspects can matter a lot in practice and have so far prevented people from employing LLMs for decision making in high-volume/high-throughput scenarios.

Specialized decision models (or "System One" models) like Jev and Laya are designed to address this. You pass in a piece of state and a set of named options, and you get back the chosen option together with a confidence value (i.e., probability) for each one. Turning an LLM into a decision model Initially, we asked ourselves if an LLM could be turned into a decision model with Jev-like properties.

The short answer is: "yes". In the following, we show how it works. To understand our approach, it's important to understand how LLMs work: An LLM never writes text directly.

Given a prompt, an LLM outputs a probability distribution over its entire vocabulary of tokens. In text generation, in the simplest case, the token with the highest probability is selected as the next token. The selected token then is appended to the prompt and the whole process repeats.

As described above, this is costly and slow if you just want to set a few fields in a JSON object. Our core insight is that it's unnecessary to have the LLM predict the whole JSON object, as we already know its shape. We're only interested in the LLM's typed judgement for a given input.

We realized that it's possible to craft prompts so that we get the typed judgement in a single run of the LLM — with no fine-tuning, on the model exactly as it ships. This is the difference to Jev and Laya, which are models trained for the purpose. The basic steps are as follows: Number the options.

The state, the question, and the output options go into the prompt as JSON, with an index on every option. The instruction asks the model to an...

24 سبتمبر 2026 قرارات مكتوبة مع احتمال لكل خيار، في مرور واحد: مطابقة دقة وسرعة Jev مع LLM. ماركو روزيمولر، دكتوراه فنون، قائد فني AITL؛ DR: في هذا المقال، نوضح كيف يمكن لـ LLM جاهز أن ي Marijuana قرارات مكتوبة في مرور واحد. يMade هذا ممكناً تحويل LLM إلى نموذج قرار يشبه Jev. قمنا بتقييم النهج باستخدام GLM-5.3-Flash Stars على Privatemode. باستخدام معيار مconstructed من البيانات العامة، نوضح أن هذا الت_config ي delivering نتائج على par مع Jev من Type Safe من حيث دقة/صحة القرارات والسرعة. كهدية، الت_config مع GLM-5.3-Flash يمكّنقرارات مكتوبة على الصور، وهو ما غير ممكن مع Jev. كيف работает Playground Benchmark ليه قرارات مكتوبة كثيwhat Software يطلب من LLM هو قرار. "Which فريق يجب أن يتعامل مع هذا التذكرة؟"، أو "هل تdoes هذا البند العقد ينتمي إلى قسم المسؤولية؟". في هذه الحالات، Software يتطلب عادة أن ي/response LLM يalus شكل معين مثل JSON وأن comes من مجموعته مسبقاً مثل "yes" و "no". Given ال.right instructions، LLMs can typically already fulfill this reliably. However، في basic approach، speed و costs يصبحان مشكلة: For each decision، LLM needs to write كله JSON object، و reasoning model قد يthink لـ hundreds of tokens before that.

Further، أنت also don't learn confidence of the model (unless you explicitly ask it). All these aspects can matter lot في practice و have so far prevented people from employing LLMs for decision making في high-volume/high-throughput scenarios. Specialized decision models (or "System One" models) like Jev and Laya are designed to address this.

You pass in a piece of state و a set of named options، و you get back the chosen option مع confidence value (i.e., probability) for each one. Turning an LLM into a decision model Initially، we asked ourselves if an LLM could be turned into a decision model with Jev-like properties. The short answer is: "yes".

In the following، we show how it works. To understand our approach، it's important to understand how LLMs work: An LLM never writes text directly. Given a prompt، an LLM outputs a probability distribution over its entire vocabulary of tokens. في text generation، في simplest case، token with highest probability is selected as the next token.

The selected token then is appended to the prompt و the whole process repeats. As described above، this is costly and slow if you just want to set a few fields في JSON object. Our core insight is that it's unnecessary to have the LLM predict the whole JSON object، as we already know its shape.

We're only interested in the LLM's typed judgement for a given input. We realized that it's possible to craft prompts so that we get the typed judgement in a single run of the LLM — with no fine-tuning، on the model exactly as it ships. This is the difference to Jev and Laya، which are models trained for the purpose.

The basic steps are as follows: Number the options. The state، the question، and the output options go into the prompt as JSON، with an index on every option. The instruction asks the model to an...

24 সেপ্টেম্বর, 2026 প্রত্যেক বিকল্পের জন্য একটি সম্ভাব্যতা সহ টাইপকৃত সিদ্ধান্ত, একটি সিঙ্গেল ফরওয়ার্ড পাসে: একটি LLM এর মাধ্যমে Jev এর নির্ভুলতা ও গতির সাথে মিল. মার্কো রোসেনমুলার, পিএचডি প্রযুক্তি লিড AITL; ডিআর: এই পোস্টে, আমরা দেখাচ্ছি কিভাবে একটি অফ-দা-শেল্ফ LLM একটি সিঙ্গেল ফরওয়ার্ড পাসে টাইপকৃত সিদ্ধান্ত নিতে পারে। এই প্রন্তাসটি একটি LLM কে Jev-সদৃশ সিদ্ধান্ত মডেলে রূপান্তর করার অনুমতি দেয়। আমরা GLM-5.3-Flash ব্যবহার করে প্রতিমূল্যায়ন করেছি যা Privatemode এ চলছে। একটি বেঞ্চমার্ক ব্যবহার করে যা পাবলিক ডেটা সেট থেকে তৈরি করা হয়েছে, আমরা দেখাচ্ছি যে এই সেটআপ সিদ্ধান্ত নির্ভুলতা/সঠিকতা এবং গতির ক্ষেত্রে Type Safe এর Jev এর সাথে সমান ফলাফল দেয়। একটি বোনাস হিসাবে, GLM-5.3-Flash সহ সেটআপ ছবিগুলোর জন্য টাইপকৃত সিদ্ধান্ত সক্ষম করে, যা Jev এর সাথে সম্ভব নয়। কিভাবে কাজ করে প্লেগ্রাউন্ড বেঞ্চমার্ক কেন টাইপকৃত সিদ্ধান্ত প্রয়োজন সফ্টওয়ার বেশিরভাগ কিছু যা একটি LLM এ অনুরোধ করে হলো একটি সিদ্ধান্ত। "কোন টিম এই টিকেটটি হ্যান্ডেল করবে?", অথবা "কি এই চুক্তির শর্তটি দায়ীত্ব বিভাগে আবেদন করে?"। এরকম ক্ষেত্রে, সফ্টওয়ার সাধারণত অনুরোধ করে যে LLM এর উত্তর একটি নির্দিষ্ট ফরম্যাট যেমন JSON অনুসরণ করা উচিত এবং এটি একটি পূর্ব-সংজ্ঞাত সেট থেকে আসা উচিত যেমন "হ্যাঁ" এবং "না"। সঠিক নির্দেশাবলী দিয়ে, LLM সাধারণত ইতিমধ্যে এটি বিশ্বসনীয়ভাবে পূর্ণ করতে পারে। তবে, মূল প্রন্তাসে, গতি এবং খরচ একটি সমস্যা হয়ে দেয়: প্রত্যেক সিদ্ধান্তের জন্য, LLM একটি পুরো JSON অবজেক্ট লেখা প্রয়োজন, এবং একটি যুক্তি মডেল তার আগে শতাধিক টোকন চিন্তা করতে পারে। এছাড়া, আপনি মডেলের আত্মবিশ্বাস ও শেখেন না (তবে আপনি স্পষ্টভাবে অনুরোধ করলে)। এই সমস্ত প্রসঙ্গ প্রায়শীত বহুল প্রয়োজনীয় হতে পারে এবং এখনো পর্যন্ত লোগোদের উচ্চ-আয়াম/উচ্চ-স্থিতি পরিবেশে LLM ব্যবহার করে সিদ্ধান্ত গ্রহণ থেকে বিরত রাখে। বিশোয়িত সিদ্ধান্ত মডেল (অা "সিস্টেম ওয়ান" মডেল) যেমন Jev এবং Laya এই সমস্যার সমাধান করার জন্য ডিজাইন করা হয়েছে। আপনি একটি অবস্থা এবং একটি নামকরা বিকল্পের সেট প্রদান করেন, এবং আপনি প্রত্যেকের জন্য একটি বিশ্বাস মান (প্রসবিততা) সহ নির্বাচিত বিকল্পটি ফিরে পাবেন। একটি LLM কে সিদ্ধান্ত মডেলে রূপান্তর করা প্রাথমিকভাবে, আমরা জিজ্ঞাসা করেছিলাম কি একটি LLM Jev-সদৃশ বৈশিষ্ট্য সহ একটি সিদ্ধান্ত মডেলে রূপান্তর করা সম্ভব কি না। সংক্ষিপ্ত উত্তর হলো: "হ্যাঁ"। নিম্নলিখিতে, আমরা কিভাবে কাজ করে তা দেখাচ্ছি। আমাদের প্রন্তাসটি বোঝার জন্য, এটি গুরুত্বপূর্ণ যে LLM কিভাবে কাজ করে তা বোঝা: একটি LLM কখনো সরলভাবে লেখে না। একটি প্রম্পট দেয়া হলে, একটি LLM তার সম্পূর্ণ শব্দভান্ডারের টোকনের উপর একটি সম্ভাবনা বিতরণ আউটপুট করে। টেক্সট প্রসন্ননে, সবচেয়ে সাধারণ ক্ষেত্রে, সর্বোচ্চ সম্ভাবনা সহ টোকনটি পরবর্তী টোকন হিসাবে নির্বাচন করা হয়। নির্বাচিত টোকনটি তারপর প্রম্পটে যোগ করা হয় এবং সম্পূর্ণ প্রক্রিয়াটি পুনরায় ঘটে। উপরে বর্ণিতের অনুসারে, এটি মহংগ্য এবং ধীর যদি আপনি কেবল একটি JSON অবজেক্টের কয়েকটি ক্ষেত্র সেট করতে চান। আমাদের কেন্দ্রীয় অন্তর্দৃষ্টি হলো যে LLM এর পুরো JSON অবজেক্ট পূর্বানুমান দেওয়া প্রয়োজন নয়, কারণ আমরা ইতিমধ্যে জানি এটির আকার। আমরা কেবল একটি দেওয়া ইনপুটের জন্য LLM এর টাইপকৃত বিচার চাই। আমরা বুঝেছি যে এমন প্রম্পট তৈরি করা সম্ভব যেখানে আমরা একটি সিঙ্গেল রানে LLM এর টাইপকৃত বিচার পাই — কোনো ফাইন-টিউনিং নয়, মডলটি ঠিক যেভাবে যেহেতু শিপ হয়। এটি Jev এবং Laya থেকে পার্থক্য, যেগুলো উদ্দেশ্যের জন্য প্রশিক্ষিত মডেল। মূল ধাপগুলো হলো নম্বর বিকল্প। অবস্থা, প্রশ্ন এবং আউটপুট বিকল্পগুলো প্রম্পটে JSON হিসাবে যায়, প্রত্যেক বিকল্পে একটি সূচক থাকে। নির্দেশটি মডেলকে অনুরোধ করে যে প্রথম আউটপুট টোকনটিকে সিদ্ধান্ত উত্তর হিসাবে নেয়...

24 de septiembre de 2026 Decisiones tipificadas con una probabilidad para cada opción, en un solo forward pass: igualando la precisión y velocidad de Jev con un LLM. Marko Rosenmüller, Ph. D.

Líder Técnico AITL; DR: En este post, mostramos cómo un LLM de uso general puede hacer decisiones tipificadas en un solo forward pass. Este enfoque hace posible convertir un LLM en un modelo de decisiones similar a Jev. Evaluamos el enfoque utilizando GLM-5.3-Flash ejecutándose en Privatemode.

Usando un benchmark construido de conjuntos de datos públicos, mostramos que esta configuración delivers resultados que están a la par con el Jev de Type Safe en términos de precisión/correctitud de decisiones y velocidad. Como bonus, la configuración con GLM-5.3-Flash permite decisiones tipificadas en imágenes, lo cual no es posible con Jev. Cómo funciona Playground Benchmark Por qué decisiones tipificadas Mucho de lo que un software le pide a un LLM es una decisión. "¿Qué equipo debe manejar este ticket?", o "¿Pertenece esta cláusula del contrato a la sección de responsabilidad?".

En tales casos, el software típicamente requiere que la respuesta del LLM siga un cierto formato como JSON y que provenga de un conjunto predefinido como "sí" y "no". Con las instrucciones adecuadas, los LLMs típicamente ya pueden cumplir esto de manera confiable. Sin embargo, en el enfoque básico, la velocidad y los costos se convierten en un problema: Para cada decisión, el LLM necesita escribir un objeto JSON completo, y un modelo de razonamiento puede pensar durante cientos de tokens antes de eso.

Además, tampoco se aprende la confianza del modelo (a menos que se lo pida explícitamente). Todos estos aspectos pueden importar mucho en la práctica y hasta ahora han impedido que las personas empleen LLMs para la toma de decisiones en escenarios de alto volumen/alto rendimiento. Los modelos de decisiones especializadas (o modelos "System One") como Jev y Laya están diseñados para abordar esto.

Se pasa una pieza de estado y un conjunto de opciones con nombre, y se obtiene de vuelta la opción elegida junto con un valor de confianza (es decir, probabilidad) para cada una. Convirtiendo un LLM en un modelo de decisiones Inicialmente, nos preguntamos si un LLM podría convertirse en un modelo de decisiones con propiedades similares a Jev. La respuesta corta es: "sí".

A continuación, mostramos cómo funciona. Para entender nuestro enfoque, es importante entender cómo funcionan los LLMs: Un LLM nunca escribe texto directamente. Dado un prompt, un LLM outputs una distribución de probabilidades sobre todo su vocabulario de tokens.

En la generación de texto, en el caso más simple, el token con la más alta probabilidad es seleccionado como el siguiente token. El token seleccionado luego se concatena al prompt y todo el proceso se repite. Como se describe arriba, esto es costoso y lento si solo se quiere establecer unos pocos campos en un objeto JSON.

Nuestra idea central es que no es necesario que el LLM predecir todo el objeto JSON, ya que ya conocemos su forma. Solo nos interesa el juicio tipificado del LLM para una entrada dada. Realizamos que es posible crafted prompts para que obtengamos el juicio tipificado en una sola ejecución del LLM — sin fine-tuning, en el modelo exactamente como se envía.

Esta es la diferencia con Jev y Laya, que son modelos entrenados para el propósito. Los pasos básicos son los siguientes: Numerar las opciones. El estado, la pregunta y las opciones de salida van al prompt como JSON, con un índice en cada opción.

La instrucción pide al modelo que an...

24 septembre 2026 Décisions typées avec une probabilité pour chaque option, dans un seul forward pass : égaliser la précision et la vitesse de Jev avec un LLM. Marko Rosenmüller, Ph. D.

Chef de projet technique AITL ; DR : Dans ce post, nous montrons comment un LLM prêt à l'emploi peut prendre des décisions typées dans un seul forward pass. Cette approche permet de transformer un LLM en un modèle de décision similaire à Jev. Nous évaluons l'approche en utilisant GLM-5.3-Flash exécuté sur Privatemode.

En utilisant un benchmark construit à partir de données publiques, nous montrons que cette configuration delivers des résultats comparables à Jev de Type Safe en termes de précision/correctitude des décisions et de vitesse. En bonus, la configuration avec GLM-5.3-Flash permet des décisions typées sur des images, ce qui n'est pas possible avec Jev. Comment cela fonctionne Playground Benchmark Pourquoi les décisions typées Beaucoup de ce qu'un logiciel demande à un LLM est une décision. "Which équipe doit gérer ce ticket ?", ou "Does this clause contractuelle appartient à la section responsabilité ?".

Dans ces cas, le logiciel exige généralement que la réponse du LLM suive un certain format comme JSON et qu'elle provienne d'un ensemble prédéfini comme "oui" et "non". Avec les bonnes instructions, les LLM peuvent généralement déjà le faire de manière fiable. Cependant, dans l'approche de base, la vitesse et les coûts deviennent un problème : Pour chaque décision, le LLM doit écrire un objet JSON entier, et un modèle de raisonnement peut penser pendant des centaines de tokens avant cela.

De plus, vous n'apprenez pas la confiance du modèle (sauf à le demander explicitement). Tous ces aspects peuvent beaucoup compter dans la pratique et ont jusqu'à présent empêché les gens d'employer des LLM pour la prise de décisions dans des scénarios à haut volume/à haut débit. Les modèles de décision spécialisés (ou modèles "System One") comme Jev et Laya sont conçus pour y remédier.

Vous passez un état et un ensemble d'options nommées, et vous recevez l'option choisie avec une valeur de confiance (c'est-à-dire une probabilité) pour chacune. Transformant un LLM en modèle de décision Initialement, nous nous sommes demandés si un LLM pouvait être transformé en un modèle de décision avec des propriétés similaires à Jev. La réponse courte est : "oui".

Dans la suite, nous montrons comment cela fonctionne. Pour comprendre notre approche, il est important de comprendre comment fonctionnent les LLM : Un LLM n'écrit jamais de texte directement. Étant donné une invite, un LLM sort une distribution de probabilité sur tout son vocabulaire de tokens. Dans la génération de texte, dans le cas le plus simple, le token avec la plus haute probabilité est sélectionné comme prochain token.

Le token sélectionné est ensuite ajouté à l'invite et tout le processus se répète. Comme décrit ci-dessus, cela est coûteux et lent si vous voulez simplement définir quelques champs dans un objet JSON. Notre insight central est qu'il est inutile de faire prédire au LLM l'objet JSON entier, car nous connaissons déjà sa forme.

Nous ne sommes intéressés que par le jugement typé du LLM pour une entrée donnée. Nous avons réalisé qu'il est possible de concevoir des invites de manière à obtenir le jugement typé dans une seule exécution du LLM — sans fine-tuning, sur le modèle exactement comme il est livré. C'est la différence avec Jev et Laya, qui sont des modèles entraînés pour cette purpose.

Les étapes de base sont les suivantes : Numéroz les options. L'état, la question et les options de sortie entrent dans l'invite en JSON, avec un index sur chaque option. L'instruction demande au modèle de...

24 सितंबर, 2026 प्रत्येक विकल्प के लिए एक संभाविता के साथ टाइप किए गए निर्णय, एकल फॉरवर्ड पास में: एक LLM के माध्यम से Jev की सटीकता और गति के बराबर। मार्को रोसेनमुलर, पीएचडी तकनीकी लीड AITL; डीआर: इस पोस्ट में हम दिखाते हैं कि एक ऑफ-द-शेल्फ LLM एकल फॉरवर्ड पास में टाइप किए गए निर्णय कैसे ले सकता है। यह एन्द्रोक्स एक LLM को Jev-जैसे निर्णय मॉडल में बदलने की अनुमति देता है। हम GLM-5.3-Flash का उपयोग करके Privatemode पर चलाते हुए इस एन्द्रोक्स का मूल्यांकन करते हैं। एक बेंचमार्क का उपयोग करके जो सार्वजनिक डेटा सेटों से बनाया गया है, हम दिखाते हैं कि यह सेटअप निर्णय सटीकता/सही तरीके और गति में Type Safe के Jev के बराबर परिणाम देता है। एक बोनस के रूप में, GLM-5.3-Flash के साथ सेटअप छवियों पर टाइप किए गए निर्णय की अनुमति देता है, जो Jev के साथ संभव नहीं है। कैसे काम करता है प्लेग्राउंड बेंचमार्क टाइप किए गए निर्णय क्यों आवश्यक हैं सॉफ्टवेयर बहुत कुछ जिसके बारे में एक LLM से निर्णय लेता है। "किस टीम को इस टिकट को हैंडल करना चाहिए?", या "क्या यह अनुबंध की शर्त उत्तरदायित्व विभाग में आती है?"। ऐसे मामलों में, सॉफ्टवेयर आमतौर पर यह आवश्यक करता है कि LLM का उत्तर किसी फॉर्मेट जैसे JSON का पालन करे और यह किसी पूर्व-परिभाषित सेट जैसे "हाँ" और "नहीं" से आए। सही निर्देशों के साथ, LLM आमतौर पर पहले से ही विश्वसनीय तरीके से यह कर सकते हैं। हालांकि, बुनियादी एन्द्रोक्स में, गति और लागत समस्या बन जाती है: प्रत्येक निर्णय के लिए, LLM को पूरा JSON ऑब्जेक्ट लिखना होगा, और एक तर्क मॉडल इससे पहले हजारों टोकन सोच सकता है। इसके अलावा, आप मॉडल का विश्वास भी नहीं सीखते (हालांकि आप इसे स्पष्ट रूप से पूछ सकते हैं)। ये सारे पहलू व्यवहार में बहुत महत्वपूर्ण हो सकते हैं और अभी तक लोगों को उच्च-आयाम/उच्च-थ्रूपुट स्थितियों में निर्णय लेने के लिए LLM उपयोग करने से रोक रहे हैं। विशेष निर्णय मॉडल (या "सिस्टम वन" मॉडल) जैसे Jev और Laya इस समस्या को हल करने के लिए डिजाइन किए गए हैं। आप एक स्थिति और एक नामित विकल्पों के सेट प्रदान करते हैं, और आपको चुने गए विकल्प और प्रत्येक के लिए एक विश्वास मान (अर्थात् संभाविता) वापस मिलती है। एक LLM को निर्णय मॉडल में बदलना प्रारंभ में, हमने पूछा कि क्या एक LLM Jev-जैसे गुणों वाले निर्णय मॉडल में बदला जा सकता है। छोटा उत्तर है: "हाँ"। निम्नलिखित में हम दिखाते हैं कि यह कैसे काम करता है। हमारे एन्द्रोक्स को समझने के लिए, यह महत्वपूर्ण है कि LLM कैसे काम करते हैं: एक LLM कभी-कभी तकनीक नहीं लिखता। एक प्रॉम्प्ट दिए जाने पर, एक LLM अपने पूरे शब्दावली में टोकन की एक संभावना वितरण आउटपुट करता है। टेक्स्ट जनरेशन में, सबसे सामान्य मामले में, सबसे अधिक संभावना वाला टोकन अगला टोकन के रूप में चुना जाता है। चुना गया टोकन फिर प्रॉम्प्ट में जोड़ा जाता है और पूरी प्रक्रिया दोहराई जाती है। ऊपर वर्णित के अनुसार, यदि आप केवल किसी JSON ऑब्जेक्ट में कुछ फील्ड सेट करना चाहते हैं, तो यह महंगा और धीमा है। हमारी केंद्रीय अंतर्दृष्टि यह है कि LLM को पूरा JSON ऑब्जेक्ट प्रेडिक्ट करने की आवश्यकता नहीं है, क्योंकि हमें पहले से ही इसकी आकार ज्ञात है। हमें केवल LLM के टाइप किए गए निर्णय की आवश्यकता है एक दिए गए इनपुट के लिए। हमने महसूस किया कि यह संभव है कि प्रॉम्प्ट्स को इस तरह डिजाइन किया जाए कि हमें एकल रन में टाइप किए गए निर्णय मिले — कोई फाइन-ट्यूनिंग नहीं, मॉडल ठीक वैसे ही जैसा यह शिप होता है। यह Jev और Laya से अंतर है, जो मॉडल हैं जिन्हें इस उद्देश्य के लिए प्रशिक्षित किया गया है। मूल चरण ये हैं: विकल्पों को नंबर दें। स्थिति, प्रश्न और आउटपुट विकल्प प्रॉम्प्ट में JSON के रूप में जाते हैं, हर विकल्प पर एक इंडेक्स होता है। निर्देश मॉडल से पहले आउटपुट टोकन को निर्णय उत्तर के रूप में लेने के लिए कहता है...

24 September 2026 Keputusan terinput dengan probabilitas untuk setiap opsi, dalam satu forward pass: mencocokkan akurasi dan kecepatan Jev dengan LLM. Marko Rosenmüller, Ph. D.

Technical Lead AITL; DR: Dalam posting ini, kami menunjukkan bagaimana LLM siap pakai dapat membuat keputusan terinput dalam satu forward pass. Pendekatan ini memungkinkan untuk mengubah LLM menjadi model keputusan seperti Jev. Kami mengevaluasi pendekatan menggunakan GLM-5.3-Flash yang berjalan di Privatemode.

Menggunakan benchmark yang dibuat dari dataset publik, kami menunjukkan bahwa konfigurasi ini deliver hasil yang sebanding dengan Jev dari Type Safe dalam hal akurasi/kebenaran keputusan dan kecepatan. Sebagai bonus, konfigurasi dengan GLM-5.3-Flash mengaktifkan keputusan terinput pada gambar, yang tidak mungkin dengan Jev. Bagaimana cara kerjanya Playground Benchmark Mengapa keputusan terinput Banyak hal yang software minta dari LLM adalah keputusan. "Tim mana yang harus menangani tiket ini?", atau "Apakah klausul kontrak ini termasuk dalam bagian tanggung jawab?".

Dalam kasus tersebut, software biasanya meminta respons LLM mengikuti format tertentu seperti JSON dan berasal dari himpunan pradefinisi seperti "ya" dan "tidak". Dengan instruksi yang tepat, LLM biasanya sudah dapat memenuhi ini dengan andal. Namun, dalam pendekatan dasar, kecepatan dan biaya menjadi masalah: Untuk setiap keputusan, LLM perlu menulis seluruh objek JSON, dan model reasoning mungkin berpikir ratusan token sebelum itu.

Selain itu, Anda juga tidak belajar kepercayaan model (kecuali Anda secara eksplisit memintanya). Semua aspek ini dapat sangat penting dalam praktik dan sejauh ini mencegah orang menggunakan LLM untuk pengambilan keputusan dalam skenario high-volume/high-throughput. Model keputusan khusus (atau model "System One") seperti Jev dan Laya dirancang untuk mengatasi ini.

Anda masukkan sepotong state dan satu set opsi bernama, dan Anda kembali opsi yang dipilih bersama nilai kepercayaan (yaitu, probabilitas) untuk masing-masing. Mengubah LLM menjadi model keputusan Mula-mula, kami bertanya pada diri sendiri apakah LLM dapat diubah menjadi model keputusan dengan sifat seperti Jev. Jawaban singkatnya: "ya".

Berikut, kami menunjukkan bagaimana cara kerjanya. Untuk memahami pendekatan kami, penting untuk memahami bagaimana LLM bekerja: LLM never menulis teks langsung. Diberi prompt, LLM mengeluarkan distribusi probabilitas atas seluruh vocabulary token-nya.

Dalam generate teks, dalam kasus paling sederhana, token dengan probabilitas tertinggi dipilih sebagai token berikutnya. Token yang dipilih kemudian ditambahkan ke prompt dan seluruh proses diulang. Seperti yang dijelaskan di atas, ini mahal dan lambat jika Anda hanya ingin mengatur beberapa field dalam objek JSON.

Inti insight kami adalah tidak perlu bagi LLM untuk memprediksi seluruh objek JSON, karena kita sudah mengetahui bentuknya. Kami hanya tertarik pada keputusan terinput LLM untuk suatu input. Kami realized bahwa memungkinkan untuk craft prompts sehingga kami mendapatkan keputusan terinput dalam satu run LLM — tanpa fine-tuning, pada model tepat seperti yang dikirimkan.

Ini adalah perbedaan dengan Jev dan Laya, yang adalah model yang dilatih untuk tujuan tersebut. Langkah dasar adalah sebagai berikut: Number the options. The state, the question, and the output options go into the prompt as JSON, dengan indeks pada setiap opsi.

Instruksi meminta model untuk an...

2026年9月24日 それぞれのオプション確率付きの型付き判断、1回の前方伝播で：LLMでJevの精度と速度をマッチング。Marko Rosenmüller、Ph. D. AITL技術リード；DR：この投稿では、如何にオフザシェルフのLLMが1回の前方伝播で型付き判断を行うかを示します。このアプローチにより、LLMをJevのような判断モデルに変換することが可能になります。GLM-5.3-FlashをPrivatemodeで実行してこのアプローチを評価しました。パブリックデータセットから構築したベンチマークを使用して、この設定が判断の精度/正しさと速度の面でType SafeのJevと同等の結果をdeliverすることを示しました。ボーナスとして、GLM-5.3-Flashの設定は、Jevでは不可能な画像上的な型付き判断を可能にします。是如何に動作するか プレイグラウンドベンチマーク 型付き判断が必要な理由 ソフトウェアがLLMに尋ねるものの多くは判断です。「どのチームがこのチケットを処理すべきか？」または「この契約条文は責任セクションに属するか？」。これらの場合、ソフトウェア通常LLMの回答がJSONのような特定のフォーマットに従い、かつ「はい」「いいえ」などの事前定義された集合から来ることを要求します。適切な指示があれば、LLMは通常既にこれを信頼ingly実行できます。しかし、基本的なアプローチでは、速度とコストが問題になります：各判断ごとに、LLMは全体のJSONオブジェクトを書く必要があり、推論モデルはその前に何百ものトークンを思考します。さらに、モデルの信頼度（明示的に依頼しない限り）を学習できません。これらの側面は実践で非常に重要であり、 Until now people from employing LLMs for decision making in high-volume/high-throughput scenarios.

Specialized decision models (or "System One" models) like Jev and Laya are designed to address this. You pass in a piece of state and a set of named options, and you get back the chosen option together with a confidence value (i.e., probability) for each one. Turning an LLM into a decision model Initially, we asked ourselves if an LLM could be turned into a decision model with Jev-like properties.

The short answer is: "yes". In the following, we show how it works. To understand our approach, it's important to understand how LLMs work: An LLM never writes text directly.

Given a prompt, an LLM outputs a probability distribution over its entire vocabulary of tokens. In text generation, in the simplest case, the token with the highest probability is selected as the next token. The selected token then is appended to the prompt and the whole process repeats.

As described above, this is costly and slow if you just want to set a few fields in a JSON object. Our core insight is that it's unnecessary to have the LLM predict the whole JSON object, as we already know its shape. We're only interested in the LLM's typed judgement for a given input.

We realized that it's possible to craft prompts so that we get the typed judgement in a single run of the LLM — with no fine-tuning, on the model exactly as it ships. This is the difference to Jev and Laya, which are models trained for the purpose. The basic steps are as follows: Number the options.

The state, the question, and the output options go into the prompt as JSON, with an index on every option. The instruction asks the model to an...

24 de setembro de 2026 Decisões tipadas com uma probabilidade para cada opção, em um único forward pass: igualando a precisão e velocidade do Jev com um LLM. Marko Rosenmüller, Ph. D.

Líder Técnico AITL; DR: Neste post, mostramos como um LLM pronto pode fazer decisões tipadas em um único forward pass. Esta abordagem torna possível transformar um LLM em um modelo de decisão semelhante ao Jev. Avaliamos a abordagem usando o GLM-5.3-Flash rodando no Privatemode.

Usando um benchmark construído de conjuntos de dados públicos, mostramos que esta configuração deliver resultados que estão à par com o Jev da Type Safe em termos de precisão/corretude de decisão e velocidade. Como bônus, a configuração com o GLM-5.3-Flash permite decisões tipadas em imagens, o que não é possível com o Jev. Como funciona Playground Benchmark Por que decisões tipadas Muito do que um software pergunta a um LLM é uma decisão. "Qual equipe deve lidar com este bilhete?", ou "Esta cláusula do contrato pertence à seção de responsabilidade?".

Nesses casos, o software geralmente exige que a resposta do LLM siga um determinado formato como JSON e que venha de um conjunto pré-definido como "sim" e "não". Com as instruções certas, os LLMs geralmente já podem cumprir isso de forma confiável. No entanto, na abordagem básica, a velocidade e os custos tornam-se um problema: Para cada decisão, o LLM precisa escrever um objeto JSON inteiro, e um modelo de raciocínio pode pensar por centenas de tokens antes disso.

Além disso, você também não aprende a confiança do modelo (a menos que o solicite explicitamente). Todos esses aspectos podem importar muito na prática e até agora impediram que as pessoas empregassem LLMs para tomada de decisões em cenários de alto volume/alta throughput. Modelos de decisão especializados (ou modelos "System One") como Jev e Laya são projetados para abordar isso.

Você passa um pedaço de estado e um conjunto de opções nomeadas, e você recebe de volta a opção escolhida junto com um valor de confiança (ou seja, probabilidade) para cada uma. Transformando um LLM em um modelo de decisão Inicialmente, perguntamos se um LLM poderia ser transformado em um modelo de decisão com propriedades semelhantes ao Jev. A resposta curta é: "sim".

A seguir, mostramos como funciona. Para entender nossa abordagem, é importante entender como funcionam os LLMs: Um LLM nunca escreve texto diretamente. Dado um prompt, um LLM saí uma distribuição de probabilidade sobre todo o seu vocabulário de tokens.

Na geração de texto, no caso mais simples, o token com a maior probabilidade é selecionado como o próximo token. O token selecionado então é anexado ao prompt e todo o processo se repete. Como descrito acima, isso é caro e lento se você só quer definir alguns campos em um objeto JSON.

Nossa ideia central é que é desnecessário que o LLM preveja o objeto JSON inteiro, já que já conhecemos sua forma. Estamos apenas interessados no julgamento tipificado do LLM para uma dada entrada. Percebemos que é possível crafting prompts para que obtenhamos o julgamento tipificado em uma única execução do LLM — sem fine-tuning, no modelo exatamente como ele é enviado.

Esta é a diferença para Jev e Laya, que são modelos treinados para o propósito. Os passos básicos são os seguintes: Numerar as opções. O estado, a pergunta e as opções de saída entram no prompt como JSON, com um índice em cada opção.

A instrução pede ao modelo que an...

24 сентября 2026 Типизированные решения с вероятностью для каждой опции, за один проход: соответствие точности и скорости Jev с помощью LLM. Марко Розенмюллер, Ph.D. Технический руководитель AITL; DR: В этом посте мы показываем, как LLM общего назначения может принимать типизированные решения за один проход. Этот подход делает возможным превращение LLM в модель решений, подобную Jev. Мы оцениваем подход, используя GLM-5.3-Flash, работающий на Privatemode. Используя бенчмарк, построенный на основе публичных наборов данных, мы показываем, что эта конфигурация deliver результаты, сопоставимые с Jev от Type Safe с точки зрения точности/правильности решений и скорости. В качестве bonuses, конфигурация с GLM-5.3-Flash позволяет принимать типизированные решения по изображениям, что недоступно для Jev. Как это работает Playground Benchmark Почему типизированные решения Многое, что софт спрашивает у LLM, представляет собой решение. "Какая команда должна обработать этот тикет?", или "Попадает ли эта clause контракта в раздел ответственности?". В таких случаях софт обычно требует, чтобы ответ LLM следовал определенному формату, например JSON, и поступал из предварительно определенного набора, например "да" и "нет". При правильных инструкциях LLM обычно уже могут это надежно выполнять. Однако в базовом подходе скорость и стоимость становятся проблемой: Для каждого решения LLM нужно писать целый JSON объект, а модель рассуждения может думать сотни токенов перед этим. Кроме того, вы также неlearn confidence модели (если только не попросите ее явно). Все эти аспекты могут иметь большое значение на практике и до сих пор мешают людям использовать LLM для принятия решений в сценариях высокого объема/высокой производительности. Специализированные модели решений (или модели "System One"), такие как Jev и Laya, разработаны для решения этой проблемы. Вы передаете кусок состояния и набор именованных опций, и получаете выбранную опцию вместе с значением уверенности (то есть вероятностью) для каждой из них. Превращение LLM в модель решений Изначально мы спрашивали себя, можно ли превратить LLM в модель решений с похожими на Jev свойствами. Короткий ответ: "да". В дальнейшем мы покажем, как это работает. Чтобы понять наш подход, важно понимать, как работают LLM: LLM никогда не пишет текст напрямую. Получив промпт, LLM выводит распределение вероятностей по всему своему словарю токенов. При генерации текста, в simplest случае, токен с наибольшей вероятностью выбирается как следующий токен. Выбранный токен затем добавляется к пропту и весь процесс повторяется. Как описано выше, это дорого и медленно, если вы просто хотите установить несколько полей в JSON объекте. Наша ключевая идея в том, что не нужно, чтобы LLM предсказывал весь JSON объект, так как мы уже знаем его форму. Нас интересует только типизированное суждение LLM для данного ввода. Мы realized, что можно craft промпты так, чтобы получить типизированное суждение за один запуск LLM — без дообучения, на модели именно в том виде, в котором она поставляется. Это отличие от Jev и Laya, которые являются моделями, обученными для этой цели. Основные шаги следующие: Нумерация опций. Состояние, вопрос и выходные опции попадают в промпт в виде JSON, с индексом на каждой опции. Инструкция просит модель first output token как решение...

2026年9月24日 通过在单次前向传递中为每个选项提供概率的类型化决策：利用LLM匹配Jev的精度与速度。Marko Rosenmüller，博士，AITL技术负责人；DR：在本文中，我们展示了如何利用现成的LLM在单次前向传递中做出类型化决策。这种方法使得将LLM转化为类似Jev的决策模型成为可能。我们使用在Privatemode上运行的GLM-5.3-Flash对该方法进行评估。通过使用从公共数据集构建的基准测试，我们表明该设置在决策精度/正确性和速度方面与Type Safe的Jev相当。此外，使用GLM-5.3-Flash的设置还支持对图像进行类型化决策，而Jev无法实现这一点。工作原理 操场基准测试 为什么需要类型化决策 软件要求LLM做出的大部分决策都是这样的：“哪个团队应该处理这张工单？”或者“这个合同条款是否属于责任部分？”在这种情况下，软件通常要求LLM的响应遵循某种格式，如JSON，并且来自预定义的集合，如“是”和“否”。只要给出正确的指令，LLM通常已经能够可靠地实现这一点。然而，在基本方法中，速度和成本成为问题：对于每个决策，LLM都需要编写整个JSON对象，而推理模型在之前可能需要思考数百个令牌。此外，除非明确要求，否则你无法了解模型的置信度。所有这些方面在实践中可能非常重要，并且迄今为止阻止了人们在高容量/高吞吐量场景中使用LLM进行决策。专门的决策模型（或“系统一”模型）如Jev和Laya正是为此设计的。你输入一段状态和一组命名选项，然后你得到所选选项以及每个选项的置信值（即概率）。将LLM转化为决策模型 最初，我们问自己是否可以将LLM转化为具有类似Jev特性的决策模型。简短的回答是：“是”。在下面，我们展示了它是如何工作的。要理解我们的方法，重要的是要理解LLM是如何工作的：LLM永远不会直接写出文本。给定一个提示，LLM会输出其整个词汇表中令牌的概率分布。在文本生成中，在最简单的情况下，具有最高概率的令牌被选为下一个令牌。所选令牌然后被附加到提示中，整个过程重复进行。如上所述，如果你只是想在JSON对象中设置几个字段，这是昂贵且缓慢的。我们的核心见解是，没有必要让LLM预测整个JSON对象，因为我们已经知道它的形状。我们只对LLM对给定输入的类型化判断感兴趣。我们意识到，可以通过精心设计提示，使得我们能够在LLM的一次运行中获得类型化判断——无需微调，直接使用模型出厂时的状态。这与Jev和Laya的区别在于，后者是为此目的而训练的模型。基本步骤如下：对选项进行编号。状态、问题和输出选项作为JSON进入提示，并为每个选项添加索引。指令要求模型将第一个输出令牌作为决策答案...