Secara tegas, pernyataan bahwa "LLM adalah prediktor token berikutnya" tidak salah, tetapi tidak lengkap. Ini adalah aproksimasi orde nol yang baik, dan didasarkan pada sesuatu yang nyata: model bahasa berbasis transformer mengeluarkan token secara autoregresif. Selama pra-pelatihan, model berulang kali mengambil beberapa token sebelumnya, melihat token yang benar-benar mengikutinya, dan membuat token tersebut lebih mungkin untuk diambil sampelnya berikutnya.

Poin pentingnya adalah setiap token berikutnya yang sebenarnya berasal dari urutan yang ada dalam data pelatihan. Mungkin adil untuk mengatakan bahwa model dasar juga berperilaku seperti prediktor token berikutnya. Tetapi LLM yang kita gunakan bukan hanya model dasar. Mereka dilatih pasca-pelatihan, dan bagian kunci dari pasca-pelatihan modern adalah pembelajaran penguatan dengan hadiah yang dapat diverifikasi (RLVR). Selama pra-pelatihan, model hanya belajar dari urutan yang sudah ada dalam data pelatihan. Selama RLVR, model mengeksplorasi dengan menghasilkan urutan baru dan belajar dari hasilnya.

Analogi catur membuat perbedaan ini lebih mudah dilihat. Sistem pertama dilatih pada basis data besar permainan grandmaster dan memprediksi langkah yang kemungkinan besar akan dimainkan grandmaster berikutnya. Yang kedua adalah mesin catur ideal yang telah mengeksplorasi setiap permainan yang mungkin dan memilih langkah yang mengarah pada probabilitas kemenangan tertinggi. Menyebut sistem kedua sebagai "prediktor langkah berikutnya" akan aneh.

Teknik pasca-pelatihan lain juga penting. Pembelajaran penguatan dari umpan balik manusia (RLHF) menggeser model untuk mensimulasikan asisten yang membantu. RLVR melangkah lebih jauh: memungkinkan LLM untuk mengeksplorasi dan belajar dari urutan yang dihasilkannya sendiri.