HomeBody é um robô humanoide projetado para tarefas de loco-manipulação de longo horizonte em ambientes não estruturados como cozinhas. Ele combina memória espacial com habilidades componíveis para executar ações complexas como organizar, recuperar itens e descartar lixo—mesmo quando os objetos estão fora de vista. O sistema usa exploração para construir um modelo espacial interno a partir de dados egocêntricos incluindo vídeo do iPhone, câmera D435i, scans LiDAR com SLAM, posturas articulares e waypoints selecionados pela Astra.

Esses dados fundamentam um processo Real2Sim no Isaac Sim, criando um gêmeo digital geometricamente, semanticamente e visualmente preciso para raciocínio além da percepção imediata. O HomeBody executa tarefas como reunir sacos de café, colocá-los em uma ilha e remover cartões estragados coordenando caminhada, pegada e manipulação em ambos os braços. Ele usa keyframes armazenados para localizar objetos ocultos, como remédios em uma gaveta, e os recupera usando coordenação bimanual.

Bibliotecas de habilidades para navegação, pegada, colocação e abertura de gavetas são componíveis, com tentativas locais e feedback visual permitindo que o VLM revise decisões após falhas. O robô se adapta dinamicamente a mudanças de visão e tarefas incompletas através de laços de feedback entre a execução da ação e as atualizações da memória espacial.