Rotear requisições entre LLMs para economizar dinheiro parece simples: enviar tarefas fáceis a um modelo barato e as difíceis a um modelo de fronteira. Mas trocar de modelo no meio de uma sessão tem um custo oculto. O novo modelo nunca viu o histórico da conversa, então precisa reprocessar toda a sessão do zero, pelo preço integral. Esse pré-preenchimento com cache frio pode estar entre as operações mais caras no serviço de LLMs.
Um estudo da Microsoft Azure Research, de agosto de 2026, que abrangeu 13,5 milhões de sessões do GitHub Copilot e 760 milhões de chamadas de modelo, ilustra o problema. Dentro de um mesmo turno, cerca de 90% do prompt podia ser reaproveitado do cache. Ao cruzar a fronteira de um turno mantendo o mesmo modelo, esse índice caiu para 55%, e ao trocar de modelo, para apenas 8%. Aproximadamente 6,4% das sessões trocam de modelo, muitas vezes por erros ou limites de taxa, o que significa que muitos usuários pagam esse custo sem querer.
Para medir o efeito diretamente, o autor executou sessões de agente idênticas, de 20 turnos, sob três políticas de roteamento em um servidor vLLM com cache de prefixos: roteamento fixo (sticky), alternância por requisição e troca nas fronteiras de fase. O roteamento por requisição no gateway destruiu quase o dobro de cache do roteamento fixo e entregou apenas 13 dos 40 pontos percentuais de economia implicados pela diferença bruta de preços. O roteamento nas fronteiras de fase, que só troca de modelo quando uma etapa do fluxo de trabalho do agente termina, capturou 29 desses pontos. Uma política cega ao cache em um modelo de fronteira custou 4,88 vezes mais que a linha de base consciente do cache, apesar de processar os mesmos tokens.
A conclusão para quem opera agentes baseados em LLMs: a economia do roteamento depende não apenas dos preços dos modelos, mas de como o roteamento interage com o estado e o reaproveitamento do cache. Rotear é tanto uma decisão de gerenciamento de estado quanto de preço, e o harness é onde esse estado vive.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing