HeadlinesBriefing favicon HeadlinesBriefing.com

Decodificadores e decisões: geração não é o único caminho

Towards Data Science •
×

Nem toda chamada de modelo precisa gerar texto. O roteamento é frequentemente uma pequena decisão escondida dentro de um grande sistema agentivo, mas muitos sistemas pedem a um modelo de linguagem decodificador que gere essa escolha token por token. Um roteador decodificador não é inerentemente errado. É útil quando a política é aberta ou o conjunto de rotas muda rapidamente. Mas um conjunto de rotas estável e finito cria um problema em forma de classificação que deve ser medido como tal.

A oportunidade prática é uma camada de decisão: rotas candidatas explícitas, pontuações tipadas, uma política de limite ou abstenção, e ramos de software determinísticos. A novidade é um novo primitivo de sistema, não uma redescoberta da classificação. Jev é um exemplo público útil de uma interface de decisão tipada e probabilística; sua arquitetura proprietária e objetivo de treinamento não são públicos.

Eficiência e precisão devem ser demonstradas, não assumidas. Compare o roteamento por decodificador, uma linha de base codificador-mais-cabeça, e uma implementação de decisão estruturada nas mesmas rotas, dados, políticas e métricas de avaliação.

O modelo mental dominante da IA moderna é generativo: fornecer um prompt, então deixar um decodificador prever o próximo token. Essa é uma capacidade extraordinária, mas não é a única forma útil de inteligência de máquina. Muitas ações dentro de um sistema agentivo são perguntas operacionais limitadas: Qual especialista deve receber este caso? A evidência é suficiente para prosseguir? O sistema deve agir, escalar ou se abster?