HomeBody es un robot humanoide diseñado para tareas de loco-manipulación a largo plazo en entornos no estructurados como cocinas. Combina memoria espacial con habilidades componibles para realizar acciones complejas como ordenar, recuperar objetos y desechar residuos— incluso cuando los objetos están fuera del campo de visión. El sistema utiliza la exploración para construir un modelo espacial interno a partir de datos egocéntricos que incluyen video de iPhone, cámara D435i, escaneos LiDAR con SLAM, posturas articulares y puntos de ruta seleccionados por Astra.

Estos datos fundamentan un proceso Real2Sim en Isaac Sim, creando un gemelo digital geométrica, semánticamente y visualmente preciso para razonar más allá de la percepción inmediata. HomeBody ejecuta tareas como reunir bolsas de café, colocarlas en una isla y retirar cartones estropeados coordinando la marcha, el agarre y la manipulación en ambos brazos. Utiliza keyframes almacenados para localizar objetos ocultos, como medicinas en un cajón, y los recupera mediante coordinación bimanual.

Las bibliotecas de habilidades para navegación, recogida, colocación y apertura de cajones son componibles, con reintentos locales y retroalimentación visual que permiten al VLM revisar decisiones tras fallos. El robot se adapta dinámicamente a cambios de vista y tareas incompletas mediante bucles de retroalimentación entre la ejecución de acciones y las actualizaciones de la memoria espacial.