À medida que os assistentes de IA evoluem de interfaces de texto simples para companheiros multimodais, estamos vendo uma mudança em direção a uma assistência mais proativa e situada. Inovações recentes como Project Astra e Gemini 3.1 Flash Live já permitem que os usuários discutam seu ambiente físico em tempo real, muitas vezes usando sobreposições de caixas delimitadoras visuais para identificar objetos em um feed de câmera. Embora essas sobreposições sejam altamente eficazes para telas 2D, a transição para plataformas imersivas como Android XR apresenta um desafio único: como vamos além da interface plana para criar um diálogo verdadeiramente incorporado e espacialmente consciente?

Para preencher essa lacuna, apresentamos o Agent Hands, publicado no CHI 2026, um protótipo de pesquisa que traz o poder dos gestos co-verbais para o mundo 3D. Na comunicação humana, nossas mãos fazem mais do que apontar; elas descrevem formas, imitam ações e enfatizam pontos, tudo sincronizado com nossa voz. Ao aproveitar as capacidades de compreensão espacial da Realidade Estendida (XR), o Agent Hands replica essa sinergia natural.

Seguindo nossa pesquisa anterior em Human I/O e Sensible Agent, o Agent Hands equipa ainda mais os agentes de IA com gestos expressivos e sincronizados, transformando instruções verbais abstratas em demonstrações físicas intuitivas. A inovação central é sua capacidade de mapear o raciocínio de alto nível dos LLMs em movimentos físicos precisos e em tempo real que correspondem à "voz" do agente e ao ambiente XR do usuário. O fluxo de trabalho inclui consciência ambiental, uma biblioteca de eventos de gestos, raciocínio incorporado a gestos e execução XR sincronizada.

Ao integrar esses módulos, o Agent Hands cria uma ponte perfeita entre a intenção linguística e a ação física. O sistema transforma a saída padrão de um LLM em uma performance multimodal rica, onde as respostas geradas pelo agente se manifestam tanto pela fala quanto pelo movimento espacialmente preciso.