2026年9月24日 それぞれのオプション確率付きの型付き判断、1回の前方伝播で：LLMでJevの精度と速度をマッチング。Marko Rosenmüller、Ph. D. AITL技術リード；DR：この投稿では、如何にオフザシェルフのLLMが1回の前方伝播で型付き判断を行うかを示します。このアプローチにより、LLMをJevのような判断モデルに変換することが可能になります。GLM-5.3-FlashをPrivatemodeで実行してこのアプローチを評価しました。パブリックデータセットから構築したベンチマークを使用して、この設定が判断の精度/正しさと速度の面でType SafeのJevと同等の結果をdeliverすることを示しました。ボーナスとして、GLM-5.3-Flashの設定は、Jevでは不可能な画像上的な型付き判断を可能にします。是如何に動作するか プレイグラウンドベンチマーク 型付き判断が必要な理由 ソフトウェアがLLMに尋ねるものの多くは判断です。「どのチームがこのチケットを処理すべきか？」または「この契約条文は責任セクションに属するか？」。これらの場合、ソフトウェア通常LLMの回答がJSONのような特定のフォーマットに従い、かつ「はい」「いいえ」などの事前定義された集合から来ることを要求します。適切な指示があれば、LLMは通常既にこれを信頼ingly実行できます。しかし、基本的なアプローチでは、速度とコストが問題になります：各判断ごとに、LLMは全体のJSONオブジェクトを書く必要があり、推論モデルはその前に何百ものトークンを思考します。さらに、モデルの信頼度（明示的に依頼しない限り）を学習できません。これらの側面は実践で非常に重要であり、 Until now people from employing LLMs for decision making in high-volume/high-throughput scenarios.

Specialized decision models (or "System One" models) like Jev and Laya are designed to address this. You pass in a piece of state and a set of named options, and you get back the chosen option together with a confidence value (i.e., probability) for each one. Turning an LLM into a decision model Initially, we asked ourselves if an LLM could be turned into a decision model with Jev-like properties.

The short answer is: "yes". In the following, we show how it works. To understand our approach, it's important to understand how LLMs work: An LLM never writes text directly.

Given a prompt, an LLM outputs a probability distribution over its entire vocabulary of tokens. In text generation, in the simplest case, the token with the highest probability is selected as the next token. The selected token then is appended to the prompt and the whole process repeats.

As described above, this is costly and slow if you just want to set a few fields in a JSON object. Our core insight is that it's unnecessary to have the LLM predict the whole JSON object, as we already know its shape. We're only interested in the LLM's typed judgement for a given input.

We realized that it's possible to craft prompts so that we get the typed judgement in a single run of the LLM — with no fine-tuning, on the model exactly as it ships. This is the difference to Jev and Laya, which are models trained for the purpose. The basic steps are as follows: Number the options.

The state, the question, and the output options go into the prompt as JSON, with an index on every option. The instruction asks the model to an...