ByteDance Seedと清華AIRは、大規模LLM向けのオープンソース強化学習システムであるDAPOをリリースしました。このシステムは、Qwen2.5-32Bを使用してAIME 2024で50点以上を達成し、より少ないトレーニングステップで従来の手法を上回りました。DAPOは、Decoupled ClipとDynamic Sampling Policy Optimizationを導入しています。アルゴリズム、コード、データセット、モデル重みが含まれています。トレーニング記録は、長さの安定性、報酬スコアの一貫性、エントロピー制御の改善を示しています。環境セットアップにはcondaとpipを使用します。推論コードとサンプル問題が提供されています。このプロジェクトはverlフレームワークに基づいて構築されています。研究者はGitHub Issuesを通じて議論に参加することができます。