Enrutar solicitudes entre LLM para ahorrar dinero suena sencillo: enviar las tareas fáciles a un modelo barato y las difíciles a un modelo de frontera. Pero cambiar de modelo a mitad de una sesión conlleva un costo oculto. El nuevo modelo nunca ha visto el historial de la conversación, así que debe reprocesar toda la sesión desde cero a precio completo, una precarga con caché fría que puede ser una de las operaciones más costosas en el servicio de LLM.
Un estudio de Microsoft Azure Research de agosto de 2026, que abarcó 13,5 millones de sesiones de GitHub Copilot y 760 millones de llamadas a modelos, ilustra el problema. Dentro de un mismo turno, alrededor del 90% del prompt podía reutilizarse desde la caché. Al cruzar un límite de turno con el mismo modelo, esa cifra bajó al 55%, y al cambiar de modelo cayó a solo el 8%. Aproximadamente el 6,4% de las sesiones cambian de modelo, a menudo por errores o límites de tasa, lo que significa que muchos usuarios pagan este costo sin proponérselo.
Para medir el efecto directamente, el autor ejecutó sesiones idénticas de agentes de 20 turnos con tres políticas de enrutamiento en un servidor vLLM con caché de prefijos: enrutamiento fijo, alternancia por solicitud y cambio en los límites de fase. El enrutamiento por solicitud en la puerta de enlace destruyó casi el doble de caché que el enrutamiento fijo y logró solo 13 de los 40 puntos porcentuales de ahorro implícitos en la diferencia de precios bruta. El enrutamiento en los límites de fase, que solo cambia cuando termina una etapa del flujo de trabajo del agente, capturó 29 de esos puntos. Una política ciega a la caché en un modelo de frontera costó 4,88 veces más que la línea base consciente de la caché, a pesar de procesar los mismos tokens.
La conclusión para quienes operan agentes basados en LLM: los ahorros del enrutamiento dependen no solo de los precios de los modelos, sino de cómo interactúa el enrutamiento con el estado y la reutilización de la caché. El enrutamiento es tanto una decisión de gestión del estado como de precios, y el arnés es donde reside ese estado.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing