コスト削減のためにLLM間でリクエストを振り分けるのは、一見シンプルに思えます。簡単なタスクは安価なモデルへ、難しいタスクはフロンティアモデルへ送る、という方法です。しかし、セッションの途中でモデルを切り替えると、隠れたコストが生じます。新しいモデルは会話の履歴を見たことがないため、セッション全体を全額課金で最初から再処理しなければなりません。このコールドキャッシュでのプリフィルは、LLMの提供において最も高コストな処理の一つになり得ます。
2026年8月にMicrosoft Azure Researchが発表した研究は、1,350万件のGitHub Copilotセッションと7億6,000万回のモデル呼び出しを対象としており、この問題を端的に示しています。1ターン内では、プロンプトの約90%をキャッシュから再利用できました。同じモデルでターンの境界を越えると、その割合は55%に低下し、モデルを切り替えると8%にまで落ち込みました。セッションの約6.4%がモデルを切り替えており、その多くはエラーやレート制限が原因です。つまり、多くのユーザーが意図せずこのコストを支払っていることになります。
効果を直接測定するため、著者はプレフィックスキャッシュを備えたvLLMサーバー上で、同一の20ターンのエージェントセッションを3つのルーティング方式で実行しました。固定ルーティング（スティッキー）、リクエストごとの交互切り替え、フェーズ境界での切り替えです。ゲートウェイでのリクエストごとのルーティングは、スティッキーに比べてほぼ2倍のキャッシュを破棄し、生の価格差から見込まれる40ポイントの節約のうち13ポイントしか実現しませんでした。エージェントのワークフローの一段階が終わったときだけ切り替えるフェーズ境界ルーティングは、そのうち29ポイントを確保しました。フロンティアモデルでキャッシュを考慮しない方式は、同じトークン数を処理したにもかかわらず、キャッシュを考慮した基準の4.88倍のコストがかかりました。
LLMエージェントを運用する人への教訓は次のとおりです。ルーティングによる節約は、モデルの価格だけでなく、ルーティングが状態やキャッシュの再利用とどう相互作用するかにも左右されます。ルーティングは価格の判断であると同時に状態管理の判断であり、その状態はハーネスに存在しているのです。
出典: Towards Data Science · 要約：HeadlinesBriefing