On demande souvent aux modèles de langage de générer une réponse jeton par jeton, alors que le logiciel n'a besoin que de choisir parmi un ensemble limité d'options. Un client bancaire qui affirme avoir été débité deux fois pour le même virement doit être orienté vers une équipe d'assistance, et générer une étiquette JSON ajoute une génération et un analyse de texte inutiles à cette décision.
Cet article teste sept modèles de décision ouverts "Jev" face à une référence de génération JSON avec Qwen. Plutôt que de générer une réponse, les modèles de type Jev attribuent un score aux candidats disponibles et renvoient une décision typée. La comparaison porte sur des requêtes bancaires, avec des listes de routes fixes et des menus de candidats changeants, un point important car les outils d'agents et les options de flux de travail évoluent souvent à l'exécution.
Kev a pris la tête en précision, atteignant 98 % à la fois sur les routes fixes et sur les candidats changeants. Verdict a atteint 89 % sur les candidats changeants, contre 66 % pour la référence LLM Qwen3-0.6B, qui a obtenu 83 % sur les routes fixes. La génération JSON a tout de même surpassé les trois configurations de lecture de Qwen. Kev comme Verdict n'ont généré aucun jeton de réponse, contre environ 10 par requête pour la génération JSON de Qwen.
La latence médiane enregistrée par requête était de 125 à 130 ms pour Kev et de 17 à 18 ms pour Verdict, contre 331 à 357 ms pour la référence LLM sur les deux panneaux. Le kit de démarrage et le benchmark sont disponibles pour les lecteurs qui souhaitent essayer un modèle de décision et comparer la génération JSON avec une lecture directe.
Source: Towards Data Science · Résumé par HeadlinesBriefing