ByteDance Seed и Tsinghua AIR выпустили DAPO — систему обучения с подкреплением с открытым исходным кодом для крупномасштабных LLM. Система набирает более 50 баллов на AIME 2024 с использованием Qwen2.5-32B, превосходя предыдущие методы при меньшем числе шагов обучения. DAPO вводит Decoupled Clip и Dynamic Sampling Policy Optimization. Включает алгоритм, код, набор данных и веса модели. Записи обучения показывают улучшенную стабильность длины, согласованность оценки награды и контроль энтропии. Настройка окружения использует conda и pip. Предоставлены код инференса и примеры задач. Проект построен на фреймворке verl. Исследователей приглашают обсуждать через GitHub Issues.