OpenWAM es un marco de modelado de mundo-acción abierto que permite comparar opciones de diseño en predicción y control al proporcionar una base común de video-robot causal. Construido a partir de Wan2.2-5B, realiza un preentrenamiento causal en más de 10,000 horas de video (3,34 millones de trayectorias) e integra un experto en acciones mediante una arquitectura de Mezcla-de-Transformadores que admite modos de generación conjuntos, secuenciales y desacoplados.
El marco logra altas tasas de éxito en cuatro suites LIBERO y tareas bimanuales del mundo real, con el éxito de VTA mejorando de 68.4% a 97.8% mediante adaptación causal. Cuando solo el predictor de video se adapta a nuevas tareas, un modelo inverso de dinámica local congelado entrenado en datos contrafactuales logra un 84.0% de éxito medio en cuatro tareas LIBERO-90 retenidas.
Para la dinámica hacia adelante, la supervisión contrafactual reduce el error de predicción RGB en un 34.5% y aumenta la identificación de resultados del 21.1% al 71.3% entre 16 resultados del mismo estado. Los conjuntos de datos de preentrenamiento incluyen Open X-Embodiment (1,300,749 trayectorias), Agi Bot World Beta y otros, totalizando 14,640 horas de video de origen.
Entidades clave: Empresas: Open X-Embodiment, Intern Data-A1
Fuente: Hacker News · Resumido por HeadlinesBriefing