24 de setembro de 2026 Decisões tipadas com uma probabilidade para cada opção, em um único forward pass: igualando a precisão e velocidade do Jev com um LLM. Marko Rosenmüller, Ph. D.

Líder Técnico AITL; DR: Neste post, mostramos como um LLM pronto pode fazer decisões tipadas em um único forward pass. Esta abordagem torna possível transformar um LLM em um modelo de decisão semelhante ao Jev. Avaliamos a abordagem usando o GLM-5.3-Flash rodando no Privatemode.

Usando um benchmark construído de conjuntos de dados públicos, mostramos que esta configuração deliver resultados que estão à par com o Jev da Type Safe em termos de precisão/corretude de decisão e velocidade. Como bônus, a configuração com o GLM-5.3-Flash permite decisões tipadas em imagens, o que não é possível com o Jev. Como funciona Playground Benchmark Por que decisões tipadas Muito do que um software pergunta a um LLM é uma decisão. "Qual equipe deve lidar com este bilhete?", ou "Esta cláusula do contrato pertence à seção de responsabilidade?".

Nesses casos, o software geralmente exige que a resposta do LLM siga um determinado formato como JSON e que venha de um conjunto pré-definido como "sim" e "não". Com as instruções certas, os LLMs geralmente já podem cumprir isso de forma confiável. No entanto, na abordagem básica, a velocidade e os custos tornam-se um problema: Para cada decisão, o LLM precisa escrever um objeto JSON inteiro, e um modelo de raciocínio pode pensar por centenas de tokens antes disso.

Além disso, você também não aprende a confiança do modelo (a menos que o solicite explicitamente). Todos esses aspectos podem importar muito na prática e até agora impediram que as pessoas empregassem LLMs para tomada de decisões em cenários de alto volume/alta throughput. Modelos de decisão especializados (ou modelos "System One") como Jev e Laya são projetados para abordar isso.

Você passa um pedaço de estado e um conjunto de opções nomeadas, e você recebe de volta a opção escolhida junto com um valor de confiança (ou seja, probabilidade) para cada uma. Transformando um LLM em um modelo de decisão Inicialmente, perguntamos se um LLM poderia ser transformado em um modelo de decisão com propriedades semelhantes ao Jev. A resposta curta é: "sim".

A seguir, mostramos como funciona. Para entender nossa abordagem, é importante entender como funcionam os LLMs: Um LLM nunca escreve texto diretamente. Dado um prompt, um LLM saí uma distribuição de probabilidade sobre todo o seu vocabulário de tokens.

Na geração de texto, no caso mais simples, o token com a maior probabilidade é selecionado como o próximo token. O token selecionado então é anexado ao prompt e todo o processo se repete. Como descrito acima, isso é caro e lento se você só quer definir alguns campos em um objeto JSON.

Nossa ideia central é que é desnecessário que o LLM preveja o objeto JSON inteiro, já que já conhecemos sua forma. Estamos apenas interessados no julgamento tipificado do LLM para uma dada entrada. Percebemos que é possível crafting prompts para que obtenhamos o julgamento tipificado em uma única execução do LLM — sem fine-tuning, no modelo exatamente como ele é enviado.

Esta é a diferença para Jev e Laya, que são modelos treinados para o propósito. Os passos básicos são os seguintes: Numerar as opções. O estado, a pergunta e as opções de saída entram no prompt como JSON, com um índice em cada opção.

A instrução pede ao modelo que an...