HomeBody adalah robot humanoid yang dirancang untuk tugas loco-manipulation jangka panjang di lingkungan tidak terstruktur seperti dapur. Ia menggabungkan memori spasial dengan keterampilan yang dapat disusun untuk melakukan tindakan kompleks seperti merapikan, mengambil barang, dan membuang sampah—bahkan ketika objek berada di luar pandangan. Sistem ini menggunakan eksplorasi untuk membangun model spasial internal dari data egosentrik termasuk video iPhone, kamera D435i, pemindaian LiDAR dengan SLAM, posisi sendi, dan waypoint yang dipilih oleh Astra.

Data ini mendasari proses Real2Sim di Isaac Sim, menciptakan kembang digital yang akurat secara geometris, semantik, dan visual untuk penalaran di luar persepsi langsung. HomeBody mengeksekusi tugas seperti mengumpulkan kantong kopi, menempatkannya di sebuah pulau, dan menghapus karton yang busuk dengan mengkoordinasikan berjalan, menggep, dan manipulasi di kedua lengan. Ia menggunakan keyframe yang disimpan untuk menemukan objek yang tersembunyi, seperti obat di dalam laci, dan mengambilnya menggunakan koordinasi bimanual.

Perpustakaan keterampilan untuk navigasi, pengambilan, penempatan, dan pembukaan laci dapat disusun, dengan percobaan lokal dan umpan balik visual yang memungkinkan VLM untuk meninjau keputusan setelah kegagalan. Robot beradaptasi secara dinamis terhadap perubahan pandangan dan tugas yang tidak lengkap melalui loop umpan balik antara eksekusi tindakan dan pembaruan memori spasial.