A menudo se pide a los modelos de lenguaje que generen una respuesta token a token, cuando el software solo necesita elegir entre un conjunto limitado de opciones. Un cliente bancario que dice que le cobraron dos veces la misma transferencia debe ser dirigido a un equipo de soporte, y generar una etiqueta JSON añade generación de texto y análisis innecesarios a esa decisión.
Este artículo prueba siete modelos de decisión abiertos "Jev" frente a una línea base de generación JSON con Qwen. En lugar de generar una respuesta, los modelos al estilo Jev puntúan los candidatos disponibles y devuelven una decisión tipada. La comparación abarca solicitudes bancarias con listas de rutas fijas y con menús de candidatos cambiantes, lo que importa porque las herramientas de agentes y las opciones de flujos de trabajo suelen cambiar en tiempo de ejecución.
Kev lideró en precisión, alcanzando el 98% tanto en rutas fijas como en candidatos cambiantes. Verdict alcanzó el 89% en candidatos cambiantes, frente al 66% de la línea base LLM Qwen3-0.6B, que obtuvo el 83% en rutas fijas. La generación JSON seguía superando a las tres configuraciones de lectura de Qwen. Tanto Kev como Verdict generaron cero tokens de respuesta, frente a unos 10 por solicitud para la generación JSON de Qwen.
La latencia mediana registrada por solicitud fue de 125–130 ms para Kev y de 17–18 ms para Verdict, frente a 331–357 ms para la línea base LLM en los dos paneles. El kit de inicio y el benchmark están disponibles para los lectores que quieran probar un modelo de decisión y comparar la generación JSON con una lectura directa.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing