24 septembre 2026 Décisions typées avec une probabilité pour chaque option, dans un seul forward pass : égaliser la précision et la vitesse de Jev avec un LLM. Marko Rosenmüller, Ph. D.

Chef de projet technique AITL ; DR : Dans ce post, nous montrons comment un LLM prêt à l'emploi peut prendre des décisions typées dans un seul forward pass. Cette approche permet de transformer un LLM en un modèle de décision similaire à Jev. Nous évaluons l'approche en utilisant GLM-5.3-Flash exécuté sur Privatemode.

En utilisant un benchmark construit à partir de données publiques, nous montrons que cette configuration delivers des résultats comparables à Jev de Type Safe en termes de précision/correctitude des décisions et de vitesse. En bonus, la configuration avec GLM-5.3-Flash permet des décisions typées sur des images, ce qui n'est pas possible avec Jev. Comment cela fonctionne Playground Benchmark Pourquoi les décisions typées Beaucoup de ce qu'un logiciel demande à un LLM est une décision. "Which équipe doit gérer ce ticket ?", ou "Does this clause contractuelle appartient à la section responsabilité ?".

Dans ces cas, le logiciel exige généralement que la réponse du LLM suive un certain format comme JSON et qu'elle provienne d'un ensemble prédéfini comme "oui" et "non". Avec les bonnes instructions, les LLM peuvent généralement déjà le faire de manière fiable. Cependant, dans l'approche de base, la vitesse et les coûts deviennent un problème : Pour chaque décision, le LLM doit écrire un objet JSON entier, et un modèle de raisonnement peut penser pendant des centaines de tokens avant cela.

De plus, vous n'apprenez pas la confiance du modèle (sauf à le demander explicitement). Tous ces aspects peuvent beaucoup compter dans la pratique et ont jusqu'à présent empêché les gens d'employer des LLM pour la prise de décisions dans des scénarios à haut volume/à haut débit. Les modèles de décision spécialisés (ou modèles "System One") comme Jev et Laya sont conçus pour y remédier.

Vous passez un état et un ensemble d'options nommées, et vous recevez l'option choisie avec une valeur de confiance (c'est-à-dire une probabilité) pour chacune. Transformant un LLM en modèle de décision Initialement, nous nous sommes demandés si un LLM pouvait être transformé en un modèle de décision avec des propriétés similaires à Jev. La réponse courte est : "oui".

Dans la suite, nous montrons comment cela fonctionne. Pour comprendre notre approche, il est important de comprendre comment fonctionnent les LLM : Un LLM n'écrit jamais de texte directement. Étant donné une invite, un LLM sort une distribution de probabilité sur tout son vocabulaire de tokens. Dans la génération de texte, dans le cas le plus simple, le token avec la plus haute probabilité est sélectionné comme prochain token.

Le token sélectionné est ensuite ajouté à l'invite et tout le processus se répète. Comme décrit ci-dessus, cela est coûteux et lent si vous voulez simplement définir quelques champs dans un objet JSON. Notre insight central est qu'il est inutile de faire prédire au LLM l'objet JSON entier, car nous connaissons déjà sa forme.

Nous ne sommes intéressés que par le jugement typé du LLM pour une entrée donnée. Nous avons réalisé qu'il est possible de concevoir des invites de manière à obtenir le jugement typé dans une seule exécution du LLM — sans fine-tuning, sur le modèle exactement comme il est livré. C'est la différence avec Jev et Laya, qui sont des modèles entraînés pour cette purpose.

Les étapes de base sont les suivantes : Numéroz les options. L'état, la question et les options de sortie entrent dans l'invite en JSON, avec un index sur chaque option. L'instruction demande au modèle de...