Estritamente falando, a afirmação de que "LLMs são preditores de próximo token" não está errada, mas está incompleta. É uma boa aproximação de ordem zero, e é fundamentada em algo real: modelos de linguagem baseados em transformadores emitem tokens de forma autorregressiva. Durante o pré-treinamento, o modelo repetidamente pega alguns tokens anteriores, observa o token que realmente os seguiu e torna esse token mais provável de ser amostrado em seguida.

O ponto crucial é que cada token seguinte real vem de uma sequência existente nos dados de treinamento. Provavelmente é justo dizer que o modelo base também se comporta como um preditor de próximo token. Mas os LLMs que usamos não são apenas modelos base. Eles são pós-treinados, e uma parte fundamental do pós-treinamento moderno é o aprendizado por reforço com recompensas verificáveis (RLVR). Durante o pré-treinamento, o modelo aprende apenas com sequências que já existem nos dados de treinamento. Durante o RLVR, o modelo explora gerando novas sequências e aprendendo com seus resultados.

Uma analogia com xadrez torna essa distinção mais fácil de ver. O primeiro sistema é treinado em um grande banco de dados de jogos de grandes mestres e prevê o movimento que um grande mestre provavelmente jogaria em seguida. O segundo é um motor de xadrez idealizado que explorou todos os jogos possíveis e escolhe o movimento que leva à maior probabilidade de vitória. Chamar o segundo sistema de "preditor de próximo movimento" seria estranho.

Outras técnicas de pós-treinamento também importam. O aprendizado por reforço com feedback humano (RLHF) desloca o modelo para simular um assistente útil. O RLVR vai além: permite que um LLM explore e aprenda com suas próprias sequências geradas.