Streng genommen ist die Aussage „LLMs sind Next-Token-Prädiktoren“ nicht falsch, aber unvollständig. Es ist eine gute Näherung nullter Ordnung und basiert auf etwas Realem: Transformer-basierte Sprachmodelle geben Token autoregressiv aus. Während des Vortrainings nimmt das Modell wiederholt einige vorherige Token, betrachtet das Token, das tatsächlich auf sie folgte, und macht dieses Token wahrscheinlicher, als nächstes abgetastet zu werden.

Der entscheidende Punkt ist, dass jedes tatsächliche nächste Token aus einer Sequenz stammt, die in den Trainingsdaten existiert. Es ist wahrscheinlich fair zu sagen, dass sich das Basismodell auch wie ein Next-Token-Prädiktor verhält. Aber die LLMs, die wir verwenden, sind nicht nur Basismodelle. Sie sind nachtrainiert, und ein Schlüsselteil des modernen Nachtrainings ist Reinforcement Learning mit verifizierbaren Belohnungen (RLVR). Während des Vortrainings lernt das Modell nur aus Sequenzen, die bereits in den Trainingsdaten existieren. Während RLVR erforscht das Modell, indem es neue Sequenzen generiert und aus deren Ergebnissen lernt.

Eine Schach-Analogie macht diese Unterscheidung leichter zu sehen. Das erste System wird auf einer großen Datenbank von Großmeister-Spielen trainiert und sagt den Zug voraus, den ein Großmeister als nächstes wahrscheinlich spielen würde. Das zweite ist eine idealisierte Schach-Engine, die alle möglichen Spiele erforscht hat und den Zug wählt, der zur höchsten Gewinnwahrscheinlichkeit führt. Das zweite System als „Next-Move-Prädiktor“ zu bezeichnen, wäre seltsam.

Andere Nachtrainings-Techniken sind ebenfalls wichtig. Reinforcement Learning aus menschlichem Feedback (RLHF) verschiebt das Modell dahin, einen hilfreichen Assistenten zu simulieren. RLVR geht noch weiter: Es ermöglicht einem LLM, aus seinen eigenen generierten Sequenzen zu erforschen und zu lernen.