HomeBody est un robot humanoïde conçu pour des tâches de loco-manipulation à long terme dans des environnements non structurés comme les cuisines. Il combine mémoire spatiale et compétences composables pour effectuer des actions complexes telles que ranger, récupérer des objets et jeter des déchets—même lorsque les objets sont hors de vue. Le système utilise l'exploration pour construire un modèle spatial interne à partir de données égocentriques incluant la vidéo iPhone, la caméra D435i, les scans LiDAR avec SLAM, les postures articulaires et les points de cheminement sélectionnés par Astra.

Ces données fondent un processus Real2Sim dans Isaac Sim, créant un jumeau numérique géométriquement, sémantiquement et visuellement précis pour raisonner au-delà de la perception immédiate. HomeBody exécute des tâches telles que rassembler des sacs de café, les placer sur une île et retirer les cartons avariés en coordonnant la marche, la préhension et la manipulation sur les deux bras. Il utilise des keyframes stockés pour localiser des objets cachés, tels que des médicaments dans un tiroir, et les récupère grâce à une coordination bimanuelle.

Les bibliothèques de compétences pour la navigation, la préhension, la pose et l'ouverture de tiroirs sont composables, avec des tentatives locales et un retour visuel permettant au VLM de réviser ses décisions après des échecs. Le robot s'adapte dynamiquement aux changements de vue et aux tâches incomplètes grâce à des boucles de rétroaction entre l'exécution des actions et les mises à jour de la mémoire spatiale.