Dieser Blogbeitrag diskutiert ein Paper über RL-Nachtraining von LLMs, führt den Matthäus-Effekt ein und schlägt 'Gib niemals auf' vor, um ihn zu lösen. Der Autor präsentiert interaktiv, mit tieferen technischen Details im Paper und Code.

Jeder RL-Praktiker hat eine Eval-Kurve steigen sehen, wie AIME 2025 während des Trainings von Olmo 3.1 RL-Zero Math. Aber was bedeutet das? Wenn wir 30 AIME-Fragen basierend auf dem anfänglichen pass@32 in Schwierigkeitsstufen einteilen, stellen wir fest, dass einfache Probleme drastisch besser werden, während schwierige Probleme (anfängliches pass@32=0) kaum besser werden. Die Mittelung verbarg dies: Gewinne kommen von einfacheren Problemen. Dies ist der Matthäus-Effekt.

Wir sehen Ähnliches im Code-RL und agentischen RL mit Deepcoder und Deep SWE. Gewinne sind proportional zur anfänglichen Kompetenz. Wir verbinden dies mit dem Matthäus-Effekt in der Netzwerkwissenschaft und Ökonomie: 'Die Reichen werden reicher.' Der Matthäus-Effekt im RL für LLMs: RL verbessert die Leistung proportional zur anfänglichen Kompetenz—einfache Aufgaben werden einfacher, schwierige Aufgaben bleiben schwierig.

Ursachen? Nicht nur GRPO. Wenn es keine richtige Antwort in k Stichproben gibt, gibt es keinen Gradienten. Eine Lösung: mehr Vervollständigungen sampeln (größeres k). Wir testen mit Qwen 2.5 0.5B Instruct auf GSM8k platinum, wobei wir k variieren.