A medida que los asistentes de IA evolucionan de interfaces de texto simples a compañeros multimodales, estamos viendo un cambio hacia una asistencia más proactiva y situada. Innovaciones recientes como Project Astra y Gemini 3.1 Flash Live ya permiten a los usuarios discutir su entorno físico en tiempo real, a menudo utilizando superposiciones de cuadros delimitadores visuales para identificar objetos en una transmisión de cámara. Si bien estas superposiciones son altamente efectivas para pantallas 2D, la transición a plataformas inmersivas como Android XR presenta un desafío único: ¿cómo avanzamos más allá de la interfaz plana para crear un diálogo verdaderamente encarnado y espacialmente consciente?

Para cerrar esta brecha, presentamos Agent Hands, publicado en CHI 2026, un prototipo de investigación que lleva el poder de los gestos co-verbales al mundo 3D. En la comunicación humana, nuestras manos hacen más que señalar; describen formas, imitan acciones y enfatizan puntos, todo sincronizado con nuestra voz. Al aprovechar las capacidades de comprensión espacial de la Realidad Extendida (XR), Agent Hands replica esta sinergia natural.

Siguiendo nuestra investigación previa en Human I/O y Sensible Agent, Agent Hands equipa aún más a los agentes de IA con gestos expresivos y sincronizados que transforman instrucciones verbales abstractas en demostraciones físicas intuitivas. La innovación central es su capacidad de mapear el razonamiento de alto nivel de los LLM en movimientos físicos precisos y en tiempo real que coinciden con la "voz" del agente y el entorno XR del usuario. El flujo de trabajo incluye conciencia del entorno, una biblioteca de eventos de gestos, razonamiento con gestos integrados y ejecución XR sincronizada.

Al integrar estos módulos, Agent Hands crea un puente perfecto entre la intención lingüística y la acción física. El sistema transforma la salida estándar de un LLM en una actuación multimodal rica donde las respuestas generadas por el agente se manifiestan tanto a través del habla como del movimiento espacialmente preciso.