OpenWAM est un cadre de modélisation monde-action ouvert permettant de comparer les choix de conception en prédiction et contrôle grâce à une base commune de vidéo-robot causale. Construit à partir de Wan2.2-5B, il effectue un pré-entraînement causal sur plus de 10 000 heures de vidéo (3,34 millions de trajectoires) et intègre un expert en action via une architecture en Mélange-de-Transformateurs prenant en charge les modes de génération conjoints, séquentiels et découplés.
Le cadre atteint des taux de réussite élevés sur quatre suites LIBERO et des tâches bimanuelles du monde réel, avec une amélioration du succès VTA de 68,4 % à 97,8 % grâce à l'adaptation causale. Lorsque seul le prédicteur vidéo s'adapte à de nouvelles tâches, un modèle inverse de dynamique locale gelé entraîné sur des données contrefactuelles atteint un taux de réussite moyen de 84,0 % sur quatre tâches LIBERO-90 retenues.
Pour la dynamique directe, la supervision contrefactuelle réduit l'erreur de prédiction RGB de 34,5 % et augmente l'identification des résultats de 21,1 % à 71,3 % parmi 16 résultats du même état. Les jeux de données de pré-entraînement incluent Open X-Embodiment (1 300 749 trajectoires), Agi Bot World Beta et autres, totalisant 14 640 heures de vidéo source.
Entités clés : Entreprises : Open X-Embodiment, Intern Data-A1
Source: Hacker News · Résumé par HeadlinesBriefing