Oft wird angenommen, spekulatives Decoding sei schnell, weil es pro Token weniger Arbeit leistet. Das ist nicht richtig. Die Gesamtzahl der Gleitkommaoperationen (FLOPs) für dieselbe Sequenz steigt tatsächlich. Der Geschwindigkeitsgewinn entsteht dadurch, dass sich die Art der Arbeit ändert, die die GPU ausführt.
Das Decoding eines Tokens nach dem anderen ist meist speichergebunden. Für jedes Token muss die GPU alle aktiven Modellparameter, etwa die 27 Milliarden Parameter von Qwen3.5-27B, aus dem globalen Speicher streamen. Währenddessen liegt ein großer Teil der Rechenkapazität brach. Großes gebündeltes Decoding von Tausenden Tokens ist das Gegenteil: Es ist rechengebunden, und die GPU ist mit Tensoroperationen ausgelastet.
Spekulatives Decoding nutzt ein kleines Entwurfsmodell, das eine Folge wahrscheinlicher Tokens vorschlägt, die das große Modell dann in einem einzigen Vorwärtsdurchlauf überprüft. Bei kleinen Batchgrößen werden so ansonsten ungenutzte Rechenressourcen in Fortschritt umgewandelt. Anstatt fünf Sequenzen laufen zu lassen, die jeweils um ein Token vorankommen, kann eine einzige Sequenz gleich fünf Tokens vorankommen, bei gleichem Gesamtaufwand.
Die Technik hat Grenzen. Liegt die Akzeptanzrate unter 100 %, ist jedes abgelehnte Token verschwendete Arbeit. Bei hohem Durchsatz, wenn die GPU ohnehin rechengebunden ist, verursacht Spekulation nur Kosten ohne Nutzen. Deshalb bietet vLLM die Einstellung --speculative-disable-by-batch-size, um sie abzuschalten.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing