Seiring asisten AI berevolusi dari antarmuka teks sederhana menjadi pendamping multimodal, kita melihat pergeseran menuju bantuan yang lebih proaktif dan situasional. Inovasi terbaru seperti Project Astra dan Gemini 3.1 Flash Live sudah memungkinkan pengguna untuk mendiskusikan lingkungan fisik mereka secara real-time, sering kali menggunakan overlay kotak pembatas visual untuk mengidentifikasi objek dalam umpan kamera. Meskipun overlay ini sangat efektif untuk layar 2D, transisi ke platform imersif seperti Android XR menghadirkan tantangan unik: bagaimana kita melampaui UI datar untuk menciptakan dialog yang benar-benar berwujud dan sadar spasial?

Untuk menjembatani kesenjangan ini, kami memperkenalkan Agent Hands, diterbitkan di CHI 2026, sebuah prototipe penelitian yang membawa kekuatan gerakan bersama ucapan ke dunia 3D. Dalam komunikasi manusia, tangan kita tidak hanya menunjuk; mereka menggambarkan bentuk, meniru tindakan, dan menekankan poin, semuanya disinkronkan dengan suara kita. Dengan memanfaatkan kemampuan pemahaman spasial dari Extended Reality (XR), Agent Hands mereplikasi sinergi alami ini.

Mengikuti penelitian kami sebelumnya di Human I/O dan Sensible Agent, Agent Hands lebih lanjut membekali agen AI dengan gerakan tangan yang ekspresif dan sinkron, mengubah instruksi verbal abstrak menjadi demonstrasi fisik yang intuitif. Inovasi inti adalah kemampuannya untuk memetakan penalaran tingkat tinggi dari LLM ke dalam gerakan fisik yang presisi dan real-time yang sesuai dengan "suara" agen dan lingkungan XR pengguna. Alur kerja mencakup kesadaran lingkungan, pustaka peristiwa gerakan tangan, penalaran yang tertanam dalam gerakan, dan eksekusi XR yang disinkronkan.

Dengan mengintegrasikan modul-modul ini, Agent Hands menciptakan jembatan yang mulus antara niat linguistik dan tindakan fisik. Sistem ini mengubah output LLM standar menjadi kinerja multimodal yang kaya di mana respons yang dihasilkan agen diwujudkan melalui ucapan dan gerakan yang akurat secara spasial.