Jedes große Inferenz-Framework hat dieses Jahr Prefill-Decode-Disaggregation ausgeliefert. NVIDIA hat es in Dynamo integriert. SGLang hat es zum Standard für groß angelegte Bereitstellungen gemacht. v LLM hat eine KV-Connector-API zur nativen Unterstützung hinzugefügt.

Der Konsens bildet sich schnell: Teilen Sie Ihren Prefill und Decode auf separate GPU-Pools auf, und der Durchsatz verbessert sich. Dieser Konsens ist für die meisten Teams falsch. Doublewords Analyse zeigt, dass eine ausgewogene disaggregierte Bereitstellung den colokierten Durchsatz erreicht, aber bei kleinen GPU-Anzahlen dominieren die Rundungsverluste: Sie können keine gebrochenen GPUs zuweisen, sodass die Spezialisierungsgewinne durch unvollständige Worker-Auslastung aufgezehrt werden.

Der praktische Nutzen in diesem Maßstab ist die unabhängige SLO-Optimierung, nicht der Durchsatz. Eine Studie vom Juni 2025, die Hunderttausende von Designpunkten bewertete, fand heraus, dass Disaggregation für prefill-lastige Verkehrsmuster und größere Modelle am effektivsten ist. Für die Mixed-Traffic-Workloads, die die meisten Teams tatsächlich ausführen, dominierten Queuing und KV-Cache-Transfer zwischen Knoten die End-to-End-Latenz.

Die Teams, die disaggregierten, haben den Flaschenhals verschoben. Sie haben ihn nicht beseitigt. Ich bin bei einer Inferenz-Workload, die ein mittelgroßes Klassifikationsmodell bediente, darauf gestoßen.

TPOT stieg unter Burst-Traffic, und der erste Instinkt war, Prefill von Decode zu trennen. Stattdessen aktivierte ich Chunked Prefill auf demselben GPU-Pool. TPOT stabilisierte sich.

Das Problem war Scheduling-Interferenz, und Chunked Prefill hat es ohne einen zusätzlichen Netzwerk-Hop gehandhabt. Chunked Prefill zerlegt lange Prefill-Anfragen in kleinere Chunks und verschachtelt sie mit Decode-Batches auf derselben GPU. Keine separaten Knoten-Pools.

Kein KV-Cache-Transfer über das Netzwerk. Kein P:D-Verhältnis zu optimieren. TNG Technology Consulting maß eine 50-prozentige Steigerung des gesamten Token-Durchsatzes mit Standard-v LLM und aktiviertem Chunked Prefill.

Die Decode-Batches liefen weiterhin zwischen Prefill-Chunks auf derselben Hardware, aber die Scheduling-Interferenz fiel auf ein Niveau, das die meisten Produktions-Workloads tolerieren können. Für Workloads unterhalb von etwa 50 Anfragen pro Sekunde mit moderaten Prompt-Längen ist diese Grenze eng genug.