HeadlinesBriefing favicon HeadlinesBriefing.com

Decodificadores y decisiones: generar no es la única vía

Towards Data Science •
×

No toda llamada a un modelo necesita generar texto. El enrutamiento es a menudo una pequeña decisión oculta dentro de un gran sistema agentivo, sin embargo muchos sistemas piden a un modelo de lenguaje decodificador que genere esa elección token por token. Un enrutador decodificador no es inherentemente incorrecto. Es útil cuando la política es abierta o el conjunto de rutas cambia rápidamente. Pero un conjunto de rutas estable y finito crea un problema con forma de clasificación que debe medirse como tal.

La oportunidad práctica es una capa de decisión: rutas candidatas explícitas, puntuaciones tipadas, una política de umbral o abstención, y ramas de software deterministas. La novedad es un nuevo primitivo del sistema, no un redescubrimiento de la clasificación. Jev es un ejemplo público útil de una interfaz de decisión tipada y probabilística; su arquitectura propietaria y objetivo de entrenamiento no son públicos.

La eficiencia y precisión deben demostrarse, no asumirse. Compare el enrutamiento con decodificador, una línea base de codificador más cabeza, y una implementación de decisión estructurada en las mismas rutas, datos, políticas y métricas de evaluación.

El modelo mental dominante de la IA moderna es generativo: proporcionar un prompt, luego dejar que un decodificador prediga el siguiente token. Esa es una capacidad extraordinaria, pero no es la única forma útil de inteligencia artificial. Muchas acciones dentro de un sistema agentivo son preguntas operativas acotadas: ¿Qué especialista debería recibir este caso? ¿Es la evidencia suficiente para proceder? ¿Debería el sistema actuar, escalar o abstenerse?