Jev Your Engines: Seven Open Decision Models vs. a Generative LLM

Language models are often asked to generate an answer token by token when software only needs to choose from a bounded set of options. A banking customer who says they were charged twice for the same transfer needs to be routed to a support team, and generating a JSON label adds unnecessary text generation and parsing to that decision.

This article tests seven open "Jev" decision models against a Qwen JSON-generation baseline. Instead of generating an answer, Jev-style models score the available candidates and return a typed decision. The comparison covers banking requests with both stable route lists and changing candidate menus, which matters because agent tools and workflow options often change at runtime.

Kev led on accuracy, reaching 98% on both fixed routes and changing candidates. Verdict reached 89% on changing candidates, compared with 66% for the LLM baseline Qwen3-0.6B, which scored 83% on fixed routes. JSON generation still beat the three Qwen readout configurations. Both Kev and Verdict generated zero answer tokens, versus about 10 per request for Qwen JSON generation.

Recorded median request latency was 125–130 ms for Kev and 17–18 ms for Verdict, compared with 331–357 ms for the LLM baseline across the two panels. The starter kit and benchmark are available for readers who want to try a decision model and compare JSON generation with a direct readout.

غالباً ما يُطلب من نماذج اللغة توليد إجابة رمزاً برمز، في حين أن البرنامج يحتاج فقط إلى الاختيار من بين مجموعة محدودة من الخيارات. يحتاج عميل بنكي يقول إنه خُصم منه مبلغ التحويلة نفسها مرتين إلى تحويله إلى فريق الدعم، وتوليد تسمية JSON يضيف توليداً نصياً وتحليلاً غير ضروريين إلى هذا القرار.

تختبر هذه المقالة سبعة نماذج قرار مفتوحة من نوع "Jev" مقابل خط أساس لتوليد JSON باستخدام Qwen. فبدلاً من توليد إجابة، تقوم النماذج من نمط Jev بتقييم المرشحين المتاحين وإرجاع قرار مُحدَّد النوع. تشمل المقارنة طلبات مصرفية بقوائم مسارات ثابتة وبقوائم مرشحين متغيرة، وهذا مهم لأن أدوات الوكلاء وخيارات سير العمل تتغير غالباً أثناء التشغيل.

تصدّر Kev في الدقة، إذ بلغ 98% في المسارات الثابتة والمرشحين المتغيرين على حد سواء. وصل Verdict إلى 89% في المرشحين المتغيرين، مقارنة بـ 66% لخط الأساس LLM وهو Qwen3-0.6B، الذي سجّل 83% في المسارات الثابتة. وتفوق توليد JSON على التهيئات الثلاث لقراءة Qwen. ولم يولّد Kev ولا Verdict أي رموز إجابة، مقابل نحو 10 رموز لكل طلب في توليد JSON باستخدام Qwen.

كان متوسط زمن استجابة الطلب المسجَّل 125–130 مللي ثانية لـ Kev و17–18 مللي ثانية لـ Verdict، مقارنة بـ 331–357 مللي ثانية لخط الأساس LLM عبر اللوحتين. ومجموعة البداية والمعيار متاحان للقراء الراغبين في تجربة نموذج قرار ومقارنة توليد JSON بالقراءة المباشرة.

ভাষা মডেলকে প্রায়ই টোকেন ধরে ধরে উত্তর তৈরি করতে বলা হয়, অথচ সফটওয়্যারের কেবল সীমিত কিছু বিকল্প থেকে একটি বেছে নিতে হয়। যে ব্যাংক গ্রাহক বলেন একই ট্রান্সফারের জন্য তাঁর দুইবার চার্জ কাটা হয়েছে, তাঁকে একটি সহায়তা দলের কাছে পাঠাতে হয়, এবং JSON লেবেল তৈরি করলে সেই সিদ্ধান্তে অপ্রয়োজনীয় টেক্সট জেনারেশন ও পার্সিং যুক্ত হয়।

এই নিবন্ধে সাতটি উন্মুক্ত "Jev" সিদ্ধান্ত মডেলকে একটি Qwen JSON-জেনারেশন বেসলাইনের বিরুদ্ধে পরীক্ষা করা হয়েছে। উত্তর তৈরি না করে Jev-ধাঁচের মডেলগুলি উপলব্ধ প্রার্থীদের স্কোর করে এবং একটি টাইপড সিদ্ধান্ত ফেরত দেয়। তুলনায় স্থির রুট তালিকা এবং পরিবর্তনশীল প্রার্থী মেনু উভয় ধরনের ব্যাংকিং অনুরোধ অন্তর্ভুক্ত, যা গুরুত্বপূর্ণ কারণ এজেন্ট টুল ও ওয়ার্কফ্লোর বিকল্প প্রায়শই রানটাইমে বদলায়।

Kev নির্ভুলতায় এগিয়ে ছিল, স্থির রুট ও পরিবর্তনশীল প্রার্থী উভয় ক্ষেত্রেই ৯৮% পর্যন্ত পৌঁছে। Verdict পরিবর্তনশীল প্রার্থীতে ৮৯% অর্জন করে, যেখানে LLM বেসলাইন Qwen3-0.6B-এর স্কোর ছিল ৬৬%, এবং স্থির রুটে সেটির স্কোর ছিল ৮৩%। তিনটি Qwen রিডআউট কনফিগারেশনের চেয়ে JSON জেনারেশন তবুও ভালো ফল দেখিয়েছে। Kev ও Verdict উভয়ই শূন্য উত্তর টোকেন তৈরি করেছে, যেখানে Qwen JSON জেনারেশনে প্রতি অনুরোধে প্রায় ১০টি টোকেন লাগে।

রেকর্ড করা মধ্যমা অনুরোধ বিলম্ব Kev-এর জন্য ১২৫–১৩০ ms এবং Verdict-এর জন্য ১৭–১৮ ms, যেখানে দুই প্যানেল জুড়ে LLM বেসলাইনের জন্য ছিল ৩৩১–৩৫৭ ms। যেসব পাঠক একটি সিদ্ধান্ত মডেল ব্যবহার করে দেখতে চান এবং JSON জেনারেশনের সঙ্গে সরাসরি রিডআউটের তুলনা করতে চান, তাদের জন্য স্টার্টার কিট ও বেঞ্চমার্ক উপলব্ধ আছে।

Sprachmodelle werden oft aufgefordert, eine Antwort Token für Token zu generieren, obwohl die Software nur eine Option aus einer begrenzten Menge auswählen muss. Ein Bankkunde, der angibt, dieselbe Überweisung zweimal bezahlt zu haben, muss an ein Supportteam weitergeleitet werden. Das Erzeugen eines JSON-Labels fügt dieser Entscheidung unnötige Textgenerierung und Parsing hinzu.

Dieser Artikel testet sieben offene "Jev"-Entscheidungsmodelle gegen eine Qwen-JSON-Generierungsbasis. Anstatt eine Antwort zu generieren, bewerten Jev-artige Modelle die verfügbaren Kandidaten und geben eine typisierte Entscheidung zurück. Der Vergleich umfasst Bankanfragen mit sowohl festen Routenlisten als auch wechselnden Kandidatenmenüs, was wichtig ist, weil Agenten-Werkzeuge und Workflow-Optionen zur Laufzeit häufig wechseln.

Kev führte bei der Genauigkeit und erreichte 98% sowohl bei festen Routen als auch bei wechselnden Kandidaten. Verdict erzielte 89% bei wechselnden Kandidaten, verglichen mit 66% für die LLM-Basis Qwen3-0.6B, die bei festen Routen 83% erreichte. Die JSON-Generierung schlug weiterhin die drei Qwen-Auslesekonfigurationen. Sowohl Kev als auch Verdict erzeugten keine Antwort-Token, während die Qwen-JSON-Generierung etwa 10 Token pro Anfrage benötigte.

Die gemessene mediane Anfragelatenz betrug 125–130 ms für Kev und 17–18 ms für Verdict, verglichen mit 331–357 ms für die LLM-Basis über beide Testreihen. Das Starter-Kit und der Benchmark stehen Lesern zur Verfügung, die ein Entscheidungsmodell ausprobieren und die JSON-Generierung mit einem direkten Auslesen vergleichen möchten.

A menudo se pide a los modelos de lenguaje que generen una respuesta token a token, cuando el software solo necesita elegir entre un conjunto limitado de opciones. Un cliente bancario que dice que le cobraron dos veces la misma transferencia debe ser dirigido a un equipo de soporte, y generar una etiqueta JSON añade generación de texto y análisis innecesarios a esa decisión.

Este artículo prueba siete modelos de decisión abiertos "Jev" frente a una línea base de generación JSON con Qwen. En lugar de generar una respuesta, los modelos al estilo Jev puntúan los candidatos disponibles y devuelven una decisión tipada. La comparación abarca solicitudes bancarias con listas de rutas fijas y con menús de candidatos cambiantes, lo que importa porque las herramientas de agentes y las opciones de flujos de trabajo suelen cambiar en tiempo de ejecución.

Kev lideró en precisión, alcanzando el 98% tanto en rutas fijas como en candidatos cambiantes. Verdict alcanzó el 89% en candidatos cambiantes, frente al 66% de la línea base LLM Qwen3-0.6B, que obtuvo el 83% en rutas fijas. La generación JSON seguía superando a las tres configuraciones de lectura de Qwen. Tanto Kev como Verdict generaron cero tokens de respuesta, frente a unos 10 por solicitud para la generación JSON de Qwen.

La latencia mediana registrada por solicitud fue de 125–130 ms para Kev y de 17–18 ms para Verdict, frente a 331–357 ms para la línea base LLM en los dos paneles. El kit de inicio y el benchmark están disponibles para los lectores que quieran probar un modelo de decisión y comparar la generación JSON con una lectura directa.

On demande souvent aux modèles de langage de générer une réponse jeton par jeton, alors que le logiciel n'a besoin que de choisir parmi un ensemble limité d'options. Un client bancaire qui affirme avoir été débité deux fois pour le même virement doit être orienté vers une équipe d'assistance, et générer une étiquette JSON ajoute une génération et un analyse de texte inutiles à cette décision.

Cet article teste sept modèles de décision ouverts "Jev" face à une référence de génération JSON avec Qwen. Plutôt que de générer une réponse, les modèles de type Jev attribuent un score aux candidats disponibles et renvoient une décision typée. La comparaison porte sur des requêtes bancaires, avec des listes de routes fixes et des menus de candidats changeants, un point important car les outils d'agents et les options de flux de travail évoluent souvent à l'exécution.

Kev a pris la tête en précision, atteignant 98 % à la fois sur les routes fixes et sur les candidats changeants. Verdict a atteint 89 % sur les candidats changeants, contre 66 % pour la référence LLM Qwen3-0.6B, qui a obtenu 83 % sur les routes fixes. La génération JSON a tout de même surpassé les trois configurations de lecture de Qwen. Kev comme Verdict n'ont généré aucun jeton de réponse, contre environ 10 par requête pour la génération JSON de Qwen.

La latence médiane enregistrée par requête était de 125 à 130 ms pour Kev et de 17 à 18 ms pour Verdict, contre 331 à 357 ms pour la référence LLM sur les deux panneaux. Le kit de démarrage et le benchmark sont disponibles pour les lecteurs qui souhaitent essayer un modèle de décision et comparer la génération JSON avec une lecture directe.

भाषा मॉडलों से अक्सर टोकन-दर-टोकन उत्तर उत्पन्न करने को कहा जाता है, जबकि सॉफ़्टवेयर को केवल सीमित विकल्पों में से चुनने की आवश्यकता होती है। एक बैंकिंग ग्राहक जो कहता है कि उसी ट्रांसफ़र के लिए उससे दो बार शुल्क लिया गया, उसे सहायता टीम तक भेजना होता है, और JSON लेबल उत्पन्न करने से उस निर्णय में अनावश्यक पाठ जनरेशन और पार्सिंग जुड़ जाती है।

यह लेख सात खुले "Jev" निर्णय मॉडलों का परीक्षण Qwen JSON-जनरेशन बेसलाइन के विरुद्ध करता है। उत्तर उत्पन्न करने के बजाय, Jev-शैली के मॉडल उपलब्ध उम्मीदवारों को स्कोर करते हैं और एक टाइप्ड निर्णय लौटाते हैं। तुलना में स्थिर रूट सूचियों और बदलते उम्मीदवार मेनू, दोनों वाले बैंकिंग अनुरोध शामिल हैं, जो मायने रखता है क्योंकि एजेंट टूल और वर्कफ़्लो विकल्प अक्सर रनटाइम पर बदलते हैं।

Kev ने सटीकता में बढ़त बनाई, स्थिर रूट और बदलते उम्मीदवार दोनों पर 98% तक पहुँचकर। Verdict ने बदलते उम्मीदवारों पर 89% हासिल किया, जबकि LLM बेसलाइन Qwen3-0.6B के लिए यह 66% था, जिसने स्थिर रूट पर 83% स्कोर किया। JSON जनरेशन फिर भी तीनों Qwen रीडआउट कॉन्फ़िगरेशन से बेहतर रहा। Kev और Verdict दोनों ने शून्य उत्तर टोकन उत्पन्न किए, जबकि Qwen JSON जनरेशन में प्रति अनुरोध लगभग 10 टोकन लगे।

दर्ज की गई मध्यिका अनुरोध विलंबता Kev के लिए 125–130 ms और Verdict के लिए 17–18 ms थी, जबकि दोनों पैनलों में LLM बेसलाइन के लिए 331–357 ms थी। जो पाठक निर्णय मॉडल आज़माना चाहते हैं और JSON जनरेशन की तुलना सीधे रीडआउट से करना चाहते हैं, उनके लिए स्टार्टर किट और बेंचमार्क उपलब्ध हैं।

Model bahasa sering diminta menghasilkan jawaban token demi token, padahal perangkat lunak hanya perlu memilih dari sekumpulan opsi terbatas. Nasabah bank yang menyatakan telah ditagih dua kali untuk transfer yang sama perlu diarahkan ke tim dukungan, dan menghasilkan label JSON menambahkan pembuatan dan penguraian teks yang tidak perlu ke keputusan tersebut.

Artikel ini menguji tujuh model keputusan "Jev" terbuka terhadap baseline pembuatan JSON Qwen. Alih-alih menghasilkan jawaban, model bergaya Jev memberi skor pada kandidat yang tersedia dan mengembalikan keputusan bertipe. Perbandingan ini mencakup permintaan perbankan dengan daftar rute tetap maupun menu kandidat yang berubah, yang penting karena alat agen dan opsi alur kerja sering berubah saat runtime.

Kev memimpin dalam akurasi, mencapai 98% baik pada rute tetap maupun kandidat yang berubah. Verdict mencapai 89% pada kandidat yang berubah, dibandingkan dengan 66% untuk baseline LLM Qwen3-0.6B, yang meraih 83% pada rute tetap. Pembuatan JSON tetap mengungguli ketiga konfigurasi pembacaan Qwen. Baik Kev maupun Verdict tidak menghasilkan token jawaban sama sekali, sedangkan pembuatan JSON Qwen menghasilkan sekitar 10 token per permintaan.

Latensi median permintaan yang tercatat adalah 125–130 ms untuk Kev dan 17–18 ms untuk Verdict, dibandingkan dengan 331–357 ms untuk baseline LLM di kedua panel. Starter kit dan benchmark tersedia bagi pembaca yang ingin mencoba model keputusan dan membandingkan pembuatan JSON dengan pembacaan langsung.

言語モデルは、ソフトウェアが限られた選択肢から選ぶだけでよい場合でも、回答をトークンごとに生成するよう求められることがよくあります。同じ送金が二重に請求されたと訴える銀行の顧客は、サポートチームに振り分ける必要がありますが、JSONラベルを生成すると、その判断に不要なテキスト生成と解析が加わります。

この記事では、7つのオープンな「Jev」意思決定モデルを、Qwen JSON生成のベースラインと比較してテストしています。Jevスタイルのモデルは回答を生成する代わりに、利用可能な候補をスコア付けし、型付けされた判断を返します。比較対象には、固定のルート一覧と変化する候補メニューの両方を含む銀行の問い合わせが含まれます。エージェントのツールやワークフローの選択肢は実行時に変わることが多いため、この点は重要です。

Kevは精度で首位に立ち、固定ルートと変化する候補の両方で98%に達しました。Verdictは変化する候補で89%を記録し、LLMベースラインのQwen3-0.6Bは66%でした。Qwen3-0.6Bは固定ルートでは83%でした。JSON生成は、Qwenの3つの読み出し構成よりも依然として優れていました。KevとVerdictはどちらも回答トークンを一切生成せず、Qwen JSON生成ではリクエストごとに約10トークンを生成しました。

記録されたリクエストの中央値遅延は、Kevが125〜130ミリ秒、Verdictが17〜18ミリ秒でした。一方、LLMベースラインは両パネルで331〜357ミリ秒でした。意思決定モデルを試し、JSON生成と直接的な読み出しを比較したい読者向けに、スターターキットとベンチマークが公開されています。

Modelos de linguagem costumam ser solicitados a gerar uma resposta token por token, quando o software só precisa escolher entre um conjunto limitado de opções. Um cliente bancário que diz ter sido cobrado duas vezes pela mesma transferência precisa ser encaminhado a uma equipe de suporte, e gerar um rótulo JSON acrescenta geração de texto e análise desnecessárias a essa decisão.

Este artigo testa sete modelos de decisão abertos "Jev" contra uma linha de base de geração JSON com Qwen. Em vez de gerar uma resposta, os modelos no estilo Jev pontuam os candidatos disponíveis e retornam uma decisão tipada. A comparação abrange solicitações bancárias com listas de rotas fixas e com menus de candidatos que mudam, o que importa porque ferramentas de agentes e opções de fluxos de trabalho costumam mudar em tempo de execução.

O Kev liderou em precisão, atingindo 98% tanto nas rotas fixas quanto nos candidatos variáveis. O Verdict alcançou 89% nos candidatos variáveis, contra 66% da linha de base LLM Qwen3-0.6B, que pontuou 83% nas rotas fixas. A geração JSON ainda superou as três configurações de leitura do Qwen. Tanto o Kev quanto o Verdict geraram zero tokens de resposta, contra cerca de 10 por solicitação na geração JSON do Qwen.

A latência mediana registrada por solicitação foi de 125–130 ms para o Kev e de 17–18 ms para o Verdict, contra 331–357 ms para a linha de base LLM nos dois painéis. O kit inicial e o benchmark estão disponíveis para leitores que queiram testar um modelo de decisão e comparar a geração JSON com uma leitura direta.

Языковых моделей часто просят генерировать ответ токен за токеном, хотя программе нужно лишь выбрать один вариант из ограниченного набора. Клиенту банка, который сообщает, что с него дважды списали деньги за один и тот же перевод, нужно направить запрос в службу поддержки, и генерация JSON-метки добавляет к этому решению ненужную генерацию текста и его разбор.

В этой статье семь открытых моделей решений "Jev" сравниваются с базовой генерацией JSON на основе Qwen. Вместо генерации ответа модели в стиле Jev оценивают доступных кандидатов и возвращают типизированное решение. Сравнение охватывает банковские запросы как с фиксированными списками маршрутов, так и с меняющимися меню кандидатов, что важно, поскольку инструменты агентов и варианты рабочих процессов часто меняются во время выполнения.

Kev лидировал по точности, достигнув 98% как на фиксированных маршрутах, так и на меняющихся кандидатах. Verdict показал 89% на меняющихся кандидатах, тогда как базовая LLM Qwen3-0.6B набрала 66%, а на фиксированных маршрутах — 83%. Генерация JSON по-прежнему превосходила три конфигурации считывания на Qwen. Kev и Verdict не генерировали ни одного токена ответа, в то время как генерация JSON на Qwen тратила примерно 10 токенов на запрос.

Зарегистрированная медианная задержка запроса составила 125–130 мс для Kev и 17–18 мс для Verdict, против 331–357 мс для базовой LLM на обеих панелях. Стартовый набор и бенчмарк доступны читателям, которые хотят попробовать модель решений и сравнить генерацию JSON с прямым считыванием.

语言模型常被要求逐个 token 生成答案,而软件其实只需要从有限的选项中做出选择。一位表示同一笔转账被扣了两次的银行客户,需要被分配给支持团队;生成 JSON 标签会为这一决策增加不必要的文本生成和解析步骤。

本文将七种开放的 "Jev" 决策模型与 Qwen JSON 生成基线进行了测试。Jev 风格的模型不生成答案,而是为可用的候选项打分,并返回一个带类型的决策。对比涵盖了银行请求的两组测试:一组是固定的路由列表,另一组是动态变化的候选菜单,这一点很重要,因为智能体工具和工作流选项通常会在运行时发生变化。

Kev 在准确率上领先,在固定路由和动态候选两种情况下均达到 98%。Verdict 在动态候选上达到 89%,而 LLM 基线 Qwen3-0.6B 为 66%,其在固定路由上的得分为 83%。JSON 生成的表现仍优于三种 Qwen 读出配置。Kev 和 Verdict 都没有生成任何答案 token,而 Qwen JSON 生成每个请求大约生成 10 个 token。

记录的中位请求延迟方面,Kev 为 125–130 毫秒,Verdict 为 17–18 毫秒,而 LLM 基线在两组测试中为 331–357 毫秒。对于希望试用决策模型并比较 JSON 生成与直接读出方式的读者,入门工具包和基准测试均已提供。