OpenWAM — это открытая структура моделирования мир-действие, которая позволяет сравнивать варианты проектирования в предсказании и управлении, предоставляя общую причинно-следственную основу робот-видео. Построенная на основе Wan2.2-5B, она проводит причинно-следственное предобучение на более чем 10 000 часов видео (3,34 миллиона траекторий) и интегрирует эксперта по действиям через архитектуру Смесь-трансформеров, поддерживающую совместное, последовательное и раздельное генерирование.
Структура достигает высоких показателей успеха в четырех наборах LIBERO и реальных двуручных задачах, при этом успех VTA улучшается с 68,4% до 97,8% благодаря причинно-следственной адаптации. Когда только предиктор видео адаптируется к новым задачам, замороженная модель обратной локальной динамики, обученная на контрфактуальных данных, достигает среднего показателя успеха 84,0% на четырех удержанных задачах LIBERO-90.
Для прямой динамики контрфактуальное наблюдение снижает ошибку предсказания RGB на 34,5% и повышает идентификацию результатов с 21,1% до 71,3% среди 16 результатов одного состояния. Наборы данных для предобучения включают Open X-Embodiment (1 300 749 траекторий), Agi Bot World Beta и другие, в сумме составляющие 14 640 часов исходного видео.
Ключевые сущности: Компании: Open X-Embodiment, Intern Data-A1
Источник: Hacker News · Сводку подготовил HeadlinesBriefing