Anfragen zwischen LLMs zu routen, um Geld zu sparen, klingt einfach: Einfache Aufgaben gehen an ein günstiges Modell, schwierige an ein Frontier-Modell. Doch ein Modellwechsel mitten in einer Sitzung hat versteckte Kosten. Das neue Modell hat den Gesprächsverlauf nie gesehen und muss die gesamte Sitzung daher von vorn zum vollen Preis verarbeiten. Dieses Prefill mit kaltem Cache kann eine der teuersten Operationen im LLM-Betrieb sein.
Eine Studie von Microsoft Azure Research aus dem August 2026, die 13,5 Millionen GitHub-Copilot-Sitzungen und 760 Millionen Modellaufrufe umfasste, veranschaulicht das Problem. Innerhalb eines Zuges ließen sich etwa 90 % des Prompts aus dem Cache wiederverwenden. Beim Überschreiten einer Zuggrenze mit demselben Modell sank dieser Wert auf 55 %, und beim Modellwechsel auf nur 8 %. Rund 6,4 % der Sitzungen wechseln das Modell, oft wegen Fehlern oder Ratenlimits, sodass viele Nutzer diese Kosten unbeabsichtigt tragen.
Um den Effekt direkt zu messen, ließ der Autor identische Agenten-Sitzungen mit 20 Zügen über drei Routing-Strategien auf einem vLLM-Server mit Präfix-Caching laufen: Sticky-Routing, abwechselndes Routing pro Anfrage und Wechsel an Phasengrenzen. Das Routing pro Anfrage am Gateway zerstörte fast doppelt so viel Cache wie das Sticky-Routing und erzielte nur 13 der 40 Prozentpunkte an Einsparungen, die sich aus dem reinen Preisunterschied ergaben. Das Routing an Phasengrenzen, das nur wechselt, wenn eine Stufe des Agenten-Workflows endet, erreichte 29 dieser Punkte. Eine cache-blinde Strategie auf einem Frontier-Modell kostete das 4,88-Fache der cache-bewussten Basislinie, obwohl dieselben Tokens verarbeitet wurden.
Die Erkenntnis für alle, die LLM-Agenten betreiben: Die Routing-Einsparungen hängen nicht nur von den Modellpreisen ab, sondern auch davon, wie das Routing mit dem Zustand und der Cache-Wiederverwendung zusammenwirkt. Routing ist ebenso eine Entscheidung über Zustandsverwaltung wie über Preise, und der Zustand lebt im Harness.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing