随着AI助手从简单的文本界面演变为多模态伴侣，我们看到向更主动、更情境化的辅助转变。最近的创新如Project Astra和Gemini 3.1 Flash Live已经允许用户实时讨论他们的物理环境，通常利用视觉边界框叠加来识别相机画面中的物体。虽然这些叠加在2D屏幕上非常有效，但向Android XR等沉浸式平台的过渡提出了一个独特的挑战：我们如何超越平面UI，创造真正具身化、空间感知的对话？

为了弥合这一差距，我们推出了Agent Hands，发表于CHI 2026，这是一个研究原型，将伴随言语的手势力量带入3D世界。在人类交流中，我们的手不仅仅是指点；它们描述形状、模仿动作、强调要点，所有这些都与我们的声音同步。通过利用扩展现实（XR）的空间理解能力，Agent Hands复制了这种自然的协同效应。

继我们之前在Human I/O和Sensible Agent方面的研究之后，Agent Hands进一步为AI代理配备了富有表现力、同步的手势，将抽象的口头指令转化为直观的物理演示。其核心创新在于将LLM的高层推理映射为精确、实时的物理动作，与代理的“声音”和用户的XR环境相匹配。工作流程包括环境感知、手势事件库、嵌入手势的推理和同步的XR执行。

通过集成这些模块，Agent Hands在语言意图和物理动作之间建立了无缝桥梁。该系统将标准的LLM输出转化为丰富的多模态表演，代理生成的响应通过语音和空间精确的动作同时体现。