HomeBody: A humanoid that explores, remembers, and acts on its own

HomeBody is a humanoid robot designed for long-horizon loco-manipulation tasks in unstructured environments like kitchens. It combines spatial memory with composable skills to perform complex actions such as tidying up, retrieving items, and discarding waste—even when objects are out of view. The system uses exploration to build an internal spatial model from ego-view data including iPhone video, D435i camera, LiDAR scans with SLAM, joint poses, and waypoints selected by Astra.

This data grounds a Real2Sim process in Isaac Sim, creating a geometrically, semantically, and visually accurate digital twin for reasoning beyond immediate perception. HomeBody executes tasks like gathering coffee bags, placing them on an island, and removing spoiled cartons by coordinating walking, grasping, and manipulation across both arms. It uses stored keyframes to locate hidden objects, such as medicine in a drawer, and retrieves them using bimanual coordination.

Skill libraries for navigation, picking, placing, and drawer opening are composable, with local retries and visual feedback enabling the VLM to revise decisions after failures. The robot adapts dynamically to changing views and incomplete tasks through feedback loops between action execution and spatial memory updates.

HomeBody هو روبوت بشري الشكل مصمم لمهام loco-manipulation طويلة الأمد في بيئات غير منظمة مثل المطابخ. يجمع بين الذاكرة المكانية والمهارات القابلة للتركيب لتنفيذ إجراءات معقدة مثل الترتيب، واسترداد العناصر، والتخلص من النفايات—حتى عندما تكون العناصر خارج نطاق الرؤية. يستخدم النظام الاستكشاف لبناء نموذج مكاني داخلي من بيانات ذاتية الرؤية بما في ذلك فيديو iPhone، وكاميرا D435i، ومسح LiDAR مع SLAM، ووضعيات المفاصل، ونقاط الطريق المختارة بواسطة Astra. هذه البيانات تُأسِّس عملية Real2Sim في Isaac Sim، وتخلق توأمًا رقميًا دقيقًا من الناحية الهندسية والدلالية والبصرية للاستدلال بما يتجاوز الإدراك الفوري. ينفذ HomeBody مهامًا مثل تجميع أكياس القهوة، ووضعها على جزيرة، وإزالة الكרטونات الفاسدة من خلال تنسيق المشي، والإمساك، والتعديل على كلا الذراعين. يستخدم إطارات رئيسية مخزنة لتحديد موقع الكائنات المخفية، مثل الأدوية في درج، ويسترجعها باستخدام التنسيق الثنائي الذراع. مكتبات المهارات للتنقل، والالتقاط، والوضع، وفتح الأدراج قابلة للتركيب، مع إعادة المحاولات المحلية وردود الفعل البصرية التي تمكن نموذج الرؤية واللغة (VLM) من مراجعة القرارات بعد الفشل. يتكيف الروبوت ديناميكيًا مع تغيرات الرؤية والمهام غير المكتملة من خلال حلقات ردود الفعل بين تنفيذ الفعل وتحديثات الذاكرة المكانية.

HomeBody একটি মানবাকার রোবট যা রসোই gibi অকাঠামো পরিবেশে দীর্ঘমেয়াদী loco-manipulation কাজের জন্য ডিজাইন করা হয়েছে। এটি স্থানিক স্মৃতি এবং কম্পোজেবল দক্ষতাগুলি সমন্বয় করে জটিল কাজ যেমন সাজ-Sাজ করা, আইটেম পুনরুদ্ধার করা এবং বর্জ্য নিষ্পত্তি করা—এven जब vậtু দৃষ্টিরANGE বাহিরে থাকে। এই সিস্টেমটি অন্বেষণের মাধ্যমে iPhone ভিডিও, D435i ক্যামেরা, SLAM সহ LiDAR স্ক্যান, জোইंट পোজ এবং Astra দ্বারা নির্বাচিত ওয়েপয়েন্টস सहিত ইগো-দৃশ্য ডেটা থেকে একটি আंतरিক স্থানিক মডেল তৈরি করে। এই ডেটা Isaac Sim-এ Real2Sim প্রক্রিয়ার ভিত্তি প্রদান করে, যা জ্যামিতিক, সেমান্টিক এবং দৃশ্যভাবে সঠিক একটি ডিজিটাল টুইন তৈরি করে যা তাত্কালিক অনুভবের বাইরে তর্ক করার অনুমতি দেয়। HomeBody কফি ব্যাগ জমা দেওয়া, তাদেরকে একটি দ্বীপে রাখা এবং খারাপ কার্টন সরিয়ে দেওয়া जैसे কাজগুলো উভো হাতের চলন, গ্রহণ এবং ম্যানিপুলেশনকে সমন্বয় করে সম্পন্ন করে। এটি সংরক্ষিত keyframes ব্যবহার করে দৃশ্য থেকে লুকানো বস্তু (যেমন ড্রয়ারে ওষুধ) খুঁজে বের করে এবং দ্বি হাত সমন্বয় দিয়ে তা পুনরুদ্ধার করে। নেভিগেশন, পিকআপ, প্লেস এবং ড্রয়ার খোলার জন্য দক্ষতা লাইব্রেরি কম্পোজেবল, যেখানে স্থানীয় পুনরায় চেষ্টা এবং দৃশ্য ফিডব্যাক VLM-কে ব্যর্থতার পর সিদ্ধান্ত সংশোধন করতে সক্ষম করে। রোবটটি কর্মের exécusion এবং স্থানিক স্মৃতি আপডেটের মধ্যে ফিডব্যাক লুপের মাধ্যমে দৃশ্যের পরিবর্তন এবং অপূর্ণ কাজের সাথে গতিশীলভাবে अनुकూలিত হয়।

HomeBody ist ein humanoider Roboter, der für langfristige loco-manipulation-Aufgaben in unstrukturierten Umgebungen wie Küchen entwickelt wurde. Er kombiniert räumliches Gedächtnis mit komponierbaren Fähigkeiten, um komplexe Aktionen wie Aufräumen, Objektaufnahme und Abfallentsorgung auszuführen — selbst wenn Objekte außerhalb des Sichtfeldes liegen. Das System nutzt Exploration, um ein internes räumliches Modell aus egocentrischen Daten aufzubauen, einschließlich iPhone-Video, D435i-Kamera, LiDAR-Scans mit SLAM, Gelenkpositionen und von Astra ausgewählten Wegpunkten.

Diese Daten gründen den Real2Sim-Prozess in Isaac Sim und erzeugen ein geometrisch, semantisch und visuell genaues Digitalzwilling für Schlussfolgerungen jenseits der unmittelbaren Wahrnehmung. HomeBody führt Aufgaben wie das Sammeln von Kaffeebeuteln, das Platzieren auf einer Insel und das Entfernen verdorbener Kartons durch Koordination von Gehen, Greifen und Manipulation beider Arme aus. Es verwendet gespeicherte Keyframes, um versteckte Objekte wie Medikamente in einer Schublade zu lokalisieren und sie mittels bimanualer Koordination abzurufen.

Skill-Bibliotheken für Navigation, Greifen, Platzieren und Schubladenöffnen sind komponierbar, mit lokalen Wiederholungen und visuellem Feedback, die es dem VLM ermöglichen, Entscheidungen nach Fehlschlägen zu überarbeiten. Der Roboter passt sich dynamisch an wechselnde Sichtweisen und unvollständige Aufgaben durch Rückkopplungsschleifen zwischen Aktionausführung und räumlichen Gedächtnisaktualisierungen an.

HomeBody es un robot humanoide diseñado para tareas de loco-manipulación a largo plazo en entornos no estructurados como cocinas. Combina memoria espacial con habilidades componibles para realizar acciones complejas como ordenar, recuperar objetos y desechar residuos— incluso cuando los objetos están fuera del campo de visión. El sistema utiliza la exploración para construir un modelo espacial interno a partir de datos egocéntricos que incluyen video de iPhone, cámara D435i, escaneos LiDAR con SLAM, posturas articulares y puntos de ruta seleccionados por Astra.

Estos datos fundamentan un proceso Real2Sim en Isaac Sim, creando un gemelo digital geométrica, semánticamente y visualmente preciso para razonar más allá de la percepción inmediata. HomeBody ejecuta tareas como reunir bolsas de café, colocarlas en una isla y retirar cartones estropeados coordinando la marcha, el agarre y la manipulación en ambos brazos. Utiliza keyframes almacenados para localizar objetos ocultos, como medicinas en un cajón, y los recupera mediante coordinación bimanual.

Las bibliotecas de habilidades para navegación, recogida, colocación y apertura de cajones son componibles, con reintentos locales y retroalimentación visual que permiten al VLM revisar decisiones tras fallos. El robot se adapta dinámicamente a cambios de vista y tareas incompletas mediante bucles de retroalimentación entre la ejecución de acciones y las actualizaciones de la memoria espacial.

HomeBody est un robot humanoïde conçu pour des tâches de loco-manipulation à long terme dans des environnements non structurés comme les cuisines. Il combine mémoire spatiale et compétences composables pour effectuer des actions complexes telles que ranger, récupérer des objets et jeter des déchets—même lorsque les objets sont hors de vue. Le système utilise l'exploration pour construire un modèle spatial interne à partir de données égocentriques incluant la vidéo iPhone, la caméra D435i, les scans LiDAR avec SLAM, les postures articulaires et les points de cheminement sélectionnés par Astra.

Ces données fondent un processus Real2Sim dans Isaac Sim, créant un jumeau numérique géométriquement, sémantiquement et visuellement précis pour raisonner au-delà de la perception immédiate. HomeBody exécute des tâches telles que rassembler des sacs de café, les placer sur une île et retirer les cartons avariés en coordonnant la marche, la préhension et la manipulation sur les deux bras. Il utilise des keyframes stockés pour localiser des objets cachés, tels que des médicaments dans un tiroir, et les récupère grâce à une coordination bimanuelle.

Les bibliothèques de compétences pour la navigation, la préhension, la pose et l'ouverture de tiroirs sont composables, avec des tentatives locales et un retour visuel permettant au VLM de réviser ses décisions après des échecs. Le robot s'adapte dynamiquement aux changements de vue et aux tâches incomplètes grâce à des boucles de rétroaction entre l'exécution des actions et les mises à jour de la mémoire spatiale.

HomeBody एक मानवाकार रोबोट है जो रसोई जैसी असंरचित वातावरण में लंबे समय तक loco-manipulation कार्यों के लिए डिज़ाइन किया गया है। यह स्थानिक स्मृति और संयोज्य कौशल को जोड़कर वस्तुओं को व्यवस्थित करने, वस्तुओं को पुनः प्राप्त करने और कचरा निपटाने जैसे जटिल कार्यों को अंजाम देता है— भले ही वस्तुएं दृष्टि क्षेत्र से बाहर हों। इस प्रणाली द्वारा अन्वेषण के माध्यम से iPhone वीडियो, D435i कैमरा, SLAM के साथ LiDAR स्कैन, जोड़ स्थितियों और Astra द्वारा चयनित वेypoints सहित आत्म-दृष्टि डेटा से एक आंतरिक स्थानिक मॉडल बनाया जाता है। इस डेटा द्वारा Isaac Sim में Real2Sim प्रक्रिया को आधार प्रदान किया जाता है, जो एक ज्यामितीय, अर्थात्मक और दृश्य रूप से सटीक डिजिटल जुड़वाँ बनाता है जो तात्कालिक अनुभव से परे तर्क करने में सक्षम होता है। HomeBody कॉफी के बैट इकट्ठा करने, उन्हें एक द्वीप पर रखने और खराब कार्टन को हटाने जैसे कार्यों को दोनों भुजाओं के बीच चलने, पकड़ने और हेरफेर को समन्वित करके अंजाम देता है। यह संग्रहीत keyframes का उपयोग करके दृष्टि से छिपी वस्तुओं (जैसे ड्रावर में दवा) का पता लगाता है और द्विपक्षीय समन्वय द्वारा उन्हें पुनः प्राप्त करता है। नेविगेशन, उठाने, रखने और ड्रावर खोलने के लिए कौशल पुस्तकालय संयोज्य हैं, जिसमें स्थानीय पुनः प्रयास और दृश्य प्रतिक्रिया शामिल है जो विफलता के बाद VLM को निर्णयों को संशोधित करने में सक्षम बनाता है। रोबोट कार्य के निष्पादन और स्थानिक स्मृति अपडेट के बीच प्रतिपुष्टि लूप के माध्यम से बदलते दृश्य और अपूर्ण कार्यों के प्रति गतिशील रूप से अनुकूलित होता है।

HomeBody adalah robot humanoid yang dirancang untuk tugas loco-manipulation jangka panjang di lingkungan tidak terstruktur seperti dapur. Ia menggabungkan memori spasial dengan keterampilan yang dapat disusun untuk melakukan tindakan kompleks seperti merapikan, mengambil barang, dan membuang sampah—bahkan ketika objek berada di luar pandangan. Sistem ini menggunakan eksplorasi untuk membangun model spasial internal dari data egosentrik termasuk video iPhone, kamera D435i, pemindaian LiDAR dengan SLAM, posisi sendi, dan waypoint yang dipilih oleh Astra.

Data ini mendasari proses Real2Sim di Isaac Sim, menciptakan kembang digital yang akurat secara geometris, semantik, dan visual untuk penalaran di luar persepsi langsung. HomeBody mengeksekusi tugas seperti mengumpulkan kantong kopi, menempatkannya di sebuah pulau, dan menghapus karton yang busuk dengan mengkoordinasikan berjalan, menggep, dan manipulasi di kedua lengan. Ia menggunakan keyframe yang disimpan untuk menemukan objek yang tersembunyi, seperti obat di dalam laci, dan mengambilnya menggunakan koordinasi bimanual.

Perpustakaan keterampilan untuk navigasi, pengambilan, penempatan, dan pembukaan laci dapat disusun, dengan percobaan lokal dan umpan balik visual yang memungkinkan VLM untuk meninjau keputusan setelah kegagalan. Robot beradaptasi secara dinamis terhadap perubahan pandangan dan tugas yang tidak lengkap melalui loop umpan balik antara eksekusi tindakan dan pembaruan memori spasial.

HomeBodyは、キッチンなどの非構造化環境での長時間 loco-manipulation タスクのために設計されたヒューマノイドロボットです。空間記憶と合成可能なスキルを組み合わせ、物体の視界外でも整理、物品の取得、廃棄物の処分などの複雑な動作を実行します。このシステムは、iPhoneビデオ、D435iカメラ、SLAM付きLiDARスキャン、関節ポーズ、およびAstraによって選択されたウェイポイントを含む自己中心視データから探索を通じて内部空間モデルを構築します。このデータは、Isaac SimにおけるReal2Simプロセスの基盤となり、幾何学的、意味論的、視覚的に正確なデジタルツインを作成し、即時の知覚を超えた推論を可能にします。HomeBodyは、コーヒーバッグの収集、島への配置、腐敗したカートンの除去などのタスクを、両腕の歩行、把持、操作を調整して実行します。保存されたキーフレームを使用して、引き出しの中の薬などの見えないオブジェクトを特定し、両手協調によって取り出します。ナビゲーション、ピックアップ、配置、引き出し開けのためのスキルライブラリは合成可能であり、ローカルリトライと視覚フィードバックにより、VLMは失敗後に意思決定を修正できます。ロボットは、アクションの実行と空間記憶の更新の間のフィードバックループを通じて、視界の変化や未完了のタスクに対して動的に適応します。

HomeBody é um robô humanoide projetado para tarefas de loco-manipulação de longo horizonte em ambientes não estruturados como cozinhas. Ele combina memória espacial com habilidades componíveis para executar ações complexas como organizar, recuperar itens e descartar lixo—mesmo quando os objetos estão fora de vista. O sistema usa exploração para construir um modelo espacial interno a partir de dados egocêntricos incluindo vídeo do iPhone, câmera D435i, scans LiDAR com SLAM, posturas articulares e waypoints selecionados pela Astra.

Esses dados fundamentam um processo Real2Sim no Isaac Sim, criando um gêmeo digital geometricamente, semanticamente e visualmente preciso para raciocínio além da percepção imediata. O HomeBody executa tarefas como reunir sacos de café, colocá-los em uma ilha e remover cartões estragados coordenando caminhada, pegada e manipulação em ambos os braços. Ele usa keyframes armazenados para localizar objetos ocultos, como remédios em uma gaveta, e os recupera usando coordenação bimanual.

Bibliotecas de habilidades para navegação, pegada, colocação e abertura de gavetas são componíveis, com tentativas locais e feedback visual permitindo que o VLM revise decisões após falhas. O robô se adapta dinamicamente a mudanças de visão e tarefas incompletas através de laços de feedback entre a execução da ação e as atualizações da memória espacial.

HomeBody — гуманоидный робот, предназначенный для длительных задач loco-manipulation в неструктурированных средах, таких как кухни. Он сочетает пространственную память с компонуемыми навыками для выполнения сложных действий, таких как уборка, поиск предметов и утилизация отходов — даже когда объекты находятся вне поля зрения. Система использует исследование для построения внутренней пространственной модели на основе эгоцентрических данных, включая видео iPhone, камеру D435i, сканы LiDAR с SLAM, положения суставов и точки маршрута, выбранные Astra. Эти данные лежат в основе процесса Real2Sim в Isaac Sim, создавая геометрически, семантически и визуально точный цифровой двойник для рассуждений за пределами непосредственного восприятия. HomeBody выполняет задачи, такие как сбор пакетов с кофе, размещение их на острове и удаление испорченных коробок, координируя ходьбу, захват и манипуляцию обеими руками. Он использует сохраненные ключевые кадры для локализации скрытых объектов, таких как лекарства в ящике, и извлекает их с помощью бимануальной координации. Библиотеки навыков для навигации, захвата, размещения и открытия ящиков являются компонуемыми, с локальными повторами и визуальной обратной связью, позволяющими VLM пересматривать решения после неудач. Робот динамически адаптируется к меняющимся видам и незавершенным задачам благодаря обратной связи между выполнением действий и обновлениями пространственной памяти.

HomeBody 是一种人形机器人，专为厨房等非结构化环境中的长时程 loco-manipulation 任务设计。它融合空间记忆与可组合技能，以执行诸如整理、取物和丢弃废弃物等复杂动作——即使物体处于视线范围之外。该系统通过探索构建内部空间模型，数据来源包括 iPhone 视频、D435i 相机、带 SLAM 的 LiDAR 扫描、关节姿态以及由 Astra 选择的航点。这些数据为 Isaac Sim 中的 Real2Sim 过程提供基础，创建出在几何、语义和视觉上精确的数字孪生体，以支持超越即时感知的推理。HomeBody 通过协调双臂的行走、抓取和操作，执行诸如收集咖啡袋、将其放置在岛台上以及移除变质纸箱等任务。它利用存储的关键帧定位隐藏物体（如抽屉中的药品），并通过双臂协同操作将其取出。导航、抓取、放置和抽屉开启的技能库是可组合的，局部重试和视觉反馈使 VLM 能在失败后修正决策。机器人通过动作执行与空间记忆更新之间的反馈回路，动态适应视角变化和任务不完整的情况。