Маршрутизация запросов между LLM ради экономии кажется простой: лёгкие задачи отправлять дешёвой модели, сложные — передовой. Но переключение модели в середине сессии имеет скрытую цену. Новая модель никогда не видела историю диалога, поэтому ей приходится заново обработать всю сессию с нуля по полной цене. Такое заполнение с холодным кэшем может быть одной из самых дорогих операций в обслуживании LLM.
Исследование Microsoft Azure Research, опубликованное в августе 2026 года и охватившее 13,5 миллиона сессий GitHub Copilot и 760 миллионов вызовов моделей, иллюстрирует эту проблему. Внутри одного хода около 90% промпта можно было повторно использовать из кэша. При переходе границы хода на той же модели этот показатель упал до 55%, а при смене модели — всего до 8%. Примерно 6,4% сессий меняют модель, часто из-за ошибок или ограничений частоты запросов, а значит, многие пользователи несут эту стоимость непреднамеренно.
Чтобы измерить эффект напрямую, автор провёл одинаковые 20-ходовые агентские сессии по трём стратегиям маршрутизации на сервере vLLM с кэшированием префиксов: закреплённая маршрутизация, чередование по запросам и переключение на границах фаз. Маршрутизация по запросам на шлюзе разрушила почти вдвое больше кэша, чем закреплённая, и дала лишь 13 из 40 процентных пунктов экономии, подразумеваемой разницей в исходных ценах. Маршрутизация на границах фаз, которая переключается только по завершении одного этапа рабочего процесса агента, получила 29 из этих пунктов. Политика, не учитывающая кэш, на передовой модели обошлась в 4,88 раза дороже базовой, учитывающей кэш, хотя обрабатывала те же токены.
Вывод для тех, кто эксплуатирует агентов на LLM: экономия от маршрутизации зависит не только от цен на модели, но и от того, как маршрутизация взаимодействует с состоянием и повторным использованием кэша. Маршрутизация — это решение об управлении состоянием не меньше, чем о ценообразовании, а состояние живёт в обвязке (harness).
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing