Modelos de linguagem costumam ser solicitados a gerar uma resposta token por token, quando o software só precisa escolher entre um conjunto limitado de opções. Um cliente bancário que diz ter sido cobrado duas vezes pela mesma transferência precisa ser encaminhado a uma equipe de suporte, e gerar um rótulo JSON acrescenta geração de texto e análise desnecessárias a essa decisão.
Este artigo testa sete modelos de decisão abertos "Jev" contra uma linha de base de geração JSON com Qwen. Em vez de gerar uma resposta, os modelos no estilo Jev pontuam os candidatos disponíveis e retornam uma decisão tipada. A comparação abrange solicitações bancárias com listas de rotas fixas e com menus de candidatos que mudam, o que importa porque ferramentas de agentes e opções de fluxos de trabalho costumam mudar em tempo de execução.
O Kev liderou em precisão, atingindo 98% tanto nas rotas fixas quanto nos candidatos variáveis. O Verdict alcançou 89% nos candidatos variáveis, contra 66% da linha de base LLM Qwen3-0.6B, que pontuou 83% nas rotas fixas. A geração JSON ainda superou as três configurações de leitura do Qwen. Tanto o Kev quanto o Verdict geraram zero tokens de resposta, contra cerca de 10 por solicitação na geração JSON do Qwen.
A latência mediana registrada por solicitação foi de 125–130 ms para o Kev e de 17–18 ms para o Verdict, contra 331–357 ms para a linha de base LLM nos dois painéis. O kit inicial e o benchmark estão disponíveis para leitores que queiram testar um modelo de decisão e comparar a geração JSON com uma leitura direta.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing