Router des requêtes entre plusieurs LLM pour réduire les coûts paraît simple : envoyer les tâches faciles à un modèle bon marché et les difficiles à un modèle de pointe. Mais changer de modèle en cours de session entraîne un coût caché. Le nouveau modèle n'a jamais vu l'historique de la conversation ; il doit donc retraiter l'ensemble de la session depuis le début, au plein tarif. Ce préremplissage à cache froid peut figurer parmi les opérations les plus coûteuses du service de LLM.
Une étude d'août 2026 de Microsoft Azure Research, portant sur 13,5 millions de sessions GitHub Copilot et 760 millions d'appels de modèles, illustre le problème. Au sein d'un même tour, environ 90 % du prompt pouvait être réutilisé depuis le cache. En franchissant une frontière de tour avec le même modèle, ce taux tombait à 55 %, et en changeant de modèle, à seulement 8 %. Environ 6,4 % des sessions changent de modèle, souvent à cause d'erreurs ou de limites de débit, ce qui signifie que de nombreux utilisateurs paient ce coût involontairement.
Pour mesurer directement l'effet, l'auteur a exécuté des sessions d'agent identiques de 20 tours selon trois politiques de routage sur un serveur vLLM avec mise en cache des préfixes : routage collant, alternance par requête et changement aux frontières de phase. Le routage par requête au niveau de la passerelle a détruit près de deux fois plus de cache que le routage collant et n'a permis de réaliser que 13 des 40 points de pourcentage d'économies suggérés par l'écart de prix brut. Le routage aux frontières de phase, qui ne change de modèle qu'à la fin d'une étape du flux de travail de l'agent, a capté 29 de ces points. Une politique aveugle au cache sur un modèle de pointe a coûté 4,88 fois plus cher que la référence tenant compte du cache, alors qu'elle traitait les mêmes tokens.
La conclusion pour quiconque exploite des agents LLM : les économies du routage dépendent non seulement des prix des modèles, mais aussi de la façon dont le routage interagit avec l'état et la réutilisation du cache. Le routage relève autant de la gestion de l'état que de la tarification, et le harnais est l'endroit où cet état réside.
Source: Towards Data Science · Résumé par HeadlinesBriefing