24 de septiembre de 2026 Decisiones tipificadas con una probabilidad para cada opción, en un solo forward pass: igualando la precisión y velocidad de Jev con un LLM. Marko Rosenmüller, Ph. D.

Líder Técnico AITL; DR: En este post, mostramos cómo un LLM de uso general puede hacer decisiones tipificadas en un solo forward pass. Este enfoque hace posible convertir un LLM en un modelo de decisiones similar a Jev. Evaluamos el enfoque utilizando GLM-5.3-Flash ejecutándose en Privatemode.

Usando un benchmark construido de conjuntos de datos públicos, mostramos que esta configuración delivers resultados que están a la par con el Jev de Type Safe en términos de precisión/correctitud de decisiones y velocidad. Como bonus, la configuración con GLM-5.3-Flash permite decisiones tipificadas en imágenes, lo cual no es posible con Jev. Cómo funciona Playground Benchmark Por qué decisiones tipificadas Mucho de lo que un software le pide a un LLM es una decisión. "¿Qué equipo debe manejar este ticket?", o "¿Pertenece esta cláusula del contrato a la sección de responsabilidad?".

En tales casos, el software típicamente requiere que la respuesta del LLM siga un cierto formato como JSON y que provenga de un conjunto predefinido como "sí" y "no". Con las instrucciones adecuadas, los LLMs típicamente ya pueden cumplir esto de manera confiable. Sin embargo, en el enfoque básico, la velocidad y los costos se convierten en un problema: Para cada decisión, el LLM necesita escribir un objeto JSON completo, y un modelo de razonamiento puede pensar durante cientos de tokens antes de eso.

Además, tampoco se aprende la confianza del modelo (a menos que se lo pida explícitamente). Todos estos aspectos pueden importar mucho en la práctica y hasta ahora han impedido que las personas empleen LLMs para la toma de decisiones en escenarios de alto volumen/alto rendimiento. Los modelos de decisiones especializadas (o modelos "System One") como Jev y Laya están diseñados para abordar esto.

Se pasa una pieza de estado y un conjunto de opciones con nombre, y se obtiene de vuelta la opción elegida junto con un valor de confianza (es decir, probabilidad) para cada una. Convirtiendo un LLM en un modelo de decisiones Inicialmente, nos preguntamos si un LLM podría convertirse en un modelo de decisiones con propiedades similares a Jev. La respuesta corta es: "sí".

A continuación, mostramos cómo funciona. Para entender nuestro enfoque, es importante entender cómo funcionan los LLMs: Un LLM nunca escribe texto directamente. Dado un prompt, un LLM outputs una distribución de probabilidades sobre todo su vocabulario de tokens.

En la generación de texto, en el caso más simple, el token con la más alta probabilidad es seleccionado como el siguiente token. El token seleccionado luego se concatena al prompt y todo el proceso se repite. Como se describe arriba, esto es costoso y lento si solo se quiere establecer unos pocos campos en un objeto JSON.

Nuestra idea central es que no es necesario que el LLM predecir todo el objeto JSON, ya que ya conocemos su forma. Solo nos interesa el juicio tipificado del LLM para una entrada dada. Realizamos que es posible crafted prompts para que obtengamos el juicio tipificado en una sola ejecución del LLM — sin fine-tuning, en el modelo exactamente como se envía.

Esta es la diferencia con Jev y Laya, que son modelos entrenados para el propósito. Los pasos básicos son los siguientes: Numerar las opciones. El estado, la pregunta y las opciones de salida van al prompt como JSON, con un índice en cada opción.

La instrucción pide al modelo que an...