HomeBodyは、キッチンなどの非構造化環境での長時間 loco-manipulation タスクのために設計されたヒューマノイドロボットです。空間記憶と合成可能なスキルを組み合わせ、物体の視界外でも整理、物品の取得、廃棄物の処分などの複雑な動作を実行します。このシステムは、iPhoneビデオ、D435iカメラ、SLAM付きLiDARスキャン、関節ポーズ、およびAstraによって選択されたウェイポイントを含む自己中心視データから探索を通じて内部空間モデルを構築します。このデータは、Isaac SimにおけるReal2Simプロセスの基盤となり、幾何学的、意味論的、視覚的に正確なデジタルツインを作成し、即時の知覚を超えた推論を可能にします。HomeBodyは、コーヒーバッグの収集、島への配置、腐敗したカートンの除去などのタスクを、両腕の歩行、把持、操作を調整して実行します。保存されたキーフレームを使用して、引き出しの中の薬などの見えないオブジェクトを特定し、両手協調によって取り出します。ナビゲーション、ピックアップ、配置、引き出し開けのためのスキルライブラリは合成可能であり、ローカルリトライと視覚フィードバックにより、VLMは失敗後に意思決定を修正できます。ロボットは、アクションの実行と空間記憶の更新の間のフィードバックループを通じて、視界の変化や未完了のタスクに対して動的に適応します。