HeadlinesBriefing favicon HeadlinesBriefing.com

HomeBody:具备空间记忆的人形机器人

Hacker News •
×

HomeBody 是一种人形机器人,专为厨房等非结构化环境中的长时程 loco-manipulation 任务设计。它融合空间记忆与可组合技能,以执行诸如整理、取物和丢弃废弃物等复杂动作——即使物体处于视线范围之外。该系统通过探索构建内部空间模型,数据来源包括 iPhone 视频、D435i 相机、带 SLAM 的 LiDAR 扫描、关节姿态以及由 Astra 选择的航点。这些数据为 Isaac Sim 中的 Real2Sim 过程提供基础,创建出在几何、语义和视觉上精确的数字孪生体,以支持超越即时感知的推理。HomeBody 通过协调双臂的行走、抓取和操作,执行诸如收集咖啡袋、将其放置在岛台上以及移除变质纸箱等任务。它利用存储的关键帧定位隐藏物体(如抽屉中的药品),并通过双臂协同操作将其取出。导航、抓取、放置和抽屉开启的技能库是可组合的,局部重试和视觉反馈使 VLM 能在失败后修正决策。机器人通过动作执行与空间记忆更新之间的反馈回路,动态适应视角变化和任务不完整的情况。