厳密に言えば、「LLMは次のトークン予測器である」という主張は間違っていませんが、不完全です。これは良いゼロ次近似であり、実際のものに基づいています：トランスフォーマーベースの言語モデルは自己回帰的にトークンを生成します。事前学習中、モデルは繰り返しいくつかの以前のトークンを取得し、実際にそれらに続いたトークンを観察し、そのトークンが次にサンプリングされる可能性を高めます。

重要なのは、実際の次のトークンはすべてトレーニングデータに存在するシーケンスから来るということです。ベースモデルも次のトークン予測器のように振る舞うと言うのはおそらく公平でしょう。しかし、私たちが使うLLMは単なるベースモデルではありません。それらはポストトレーニングされており、現代のポストトレーニングの重要な部分は検証可能な報酬を用いた強化学習（RLVR）です。事前学習中、モデルはトレーニングデータにすでに存在するシーケンスからのみ学習します。RLVR中、モデルは新しいシーケンスを生成し、その結果から学習することで探索します。

チェスのアナロジーはこの区別をより簡単にします。最初のシステムはグランドマスターのゲームの大規模なデータベースでトレーニングされ、グランドマスターが次に打つであろう手を予測します。2番目は理想化されたチェスエンジンで、可能なすべてのゲームを探索し、勝利の最高確率につながる手を選択します。2番目のシステムを「次の手予測器」と呼ぶのは奇妙でしょう。

他のポストトレーニング技術も重要です。人間のフィードバックからの強化学習（RLHF）は、モデルを役立つアシスタントのシミュレーションへとシフトさせます。RLVRはさらに進んでいます：LLMが自分自身の生成したシーケンスから探索し学習することを可能にします。

FAQ：LLMを単なる次のトークン予測器と呼ぶことが不完全なのはなぜですか？

LLMは自己回帰的にトークンを生成しますが、RLVRによるポストトレーニングにより、既存のデータだけでなく、探索によって生成された新しいシーケンスから学習できます。これにより、単純な予測器よりも、報酬を最適化する意思決定者のようになります。