HomeBody ist ein humanoider Roboter, der für langfristige loco-manipulation-Aufgaben in unstrukturierten Umgebungen wie Küchen entwickelt wurde. Er kombiniert räumliches Gedächtnis mit komponierbaren Fähigkeiten, um komplexe Aktionen wie Aufräumen, Objektaufnahme und Abfallentsorgung auszuführen — selbst wenn Objekte außerhalb des Sichtfeldes liegen. Das System nutzt Exploration, um ein internes räumliches Modell aus egocentrischen Daten aufzubauen, einschließlich iPhone-Video, D435i-Kamera, LiDAR-Scans mit SLAM, Gelenkpositionen und von Astra ausgewählten Wegpunkten.

Diese Daten gründen den Real2Sim-Prozess in Isaac Sim und erzeugen ein geometrisch, semantisch und visuell genaues Digitalzwilling für Schlussfolgerungen jenseits der unmittelbaren Wahrnehmung. HomeBody führt Aufgaben wie das Sammeln von Kaffeebeuteln, das Platzieren auf einer Insel und das Entfernen verdorbener Kartons durch Koordination von Gehen, Greifen und Manipulation beider Arme aus. Es verwendet gespeicherte Keyframes, um versteckte Objekte wie Medikamente in einer Schublade zu lokalisieren und sie mittels bimanualer Koordination abzurufen.

Skill-Bibliotheken für Navigation, Greifen, Platzieren und Schubladenöffnen sind komponierbar, mit lokalen Wiederholungen und visuellem Feedback, die es dem VLM ermöglichen, Entscheidungen nach Fehlschlägen zu überarbeiten. Der Roboter passt sich dynamisch an wechselnde Sichtweisen und unvollständige Aufgaben durch Rückkopplungsschleifen zwischen Aktionausführung und räumlichen Gedächtnisaktualisierungen an.