По мере того как ИИ-ассистенты эволюционируют от простых текстовых интерфейсов к мультимодальным компаньонам, мы наблюдаем переход к более проактивной и контекстной помощи. Недавние инновации, такие как Project Astra и Gemini 3.1 Flash Live, уже позволяют пользователям обсуждать свое физическое окружение в реальном времени, часто используя визуальные наложения ограничивающих рамок для идентификации объектов в видеопотоке. Хотя эти наложения очень эффективны для 2D-экранов, переход на иммерсивные платформы, такие как Android XR, представляет уникальную задачу: как выйти за рамки плоского интерфейса и создать по-настоящему воплощенный, пространственно осознанный диалог?

Чтобы преодолеть этот разрыв, мы представляем Agent Hands, опубликованный на CHI 2026, исследовательский прототип, который приносит силу совместных жестов в 3D-мир. В человеческом общении наши руки не только указывают; они описывают формы, имитируют действия и подчеркивают моменты, все это синхронизировано с голосом. Используя возможности пространственного понимания расширенной реальности (XR), Agent Hands воспроизводит эту естественную синергию.

Продолжая наши предыдущие исследования в области Human I/O и Sensible Agent, Agent Hands дополнительно оснащает ИИ-агентов выразительными, синхронизированными жестами, которые превращают абстрактные словесные инструкции в интуитивно понятные физические демонстрации. Ключевая инновация заключается в способности отображать высокоуровневое мышление LLM в точные физические движения в реальном времени, соответствующие "голосу" агента и XR-среде пользователя. Рабочий процесс включает осведомленность об окружении, библиотеку событий жестов, встроенное в жесты рассуждение и синхронизированное исполнение в XR.

Интегрируя эти модули, Agent Hands создает бесшовный мост между языковым намерением и физическим действием. Система превращает стандартный вывод LLM в богатое мультимодальное представление, где сгенерированные ответы агента проявляются как через речь, так и через пространственно точное движение.