जैसे-जैसे एआई सहायक सरल टेक्स्ट इंटरफेस से मल्टीमॉडल साथी में विकसित हो रहे हैं, हम अधिक सक्रिय और स्थितिजन्य सहायता की ओर बदलाव देख रहे हैं। प्रोजेक्ट एस्ट्रा और जेमिनी 3.1 फ्लैश लाइव जैसे हालिया नवाचार पहले से ही उपयोगकर्ताओं को वास्तविक समय में अपने भौतिक परिवेश पर चर्चा करने की अनुमति देते हैं, अक्सर कैमरा फ़ीड में वस्तुओं की पहचान करने के लिए विज़ुअल बाउंडिंग बॉक्स ओवरले का उपयोग करते हैं। जबकि ये ओवरले 2डी स्क्रीन के लिए अत्यधिक प्रभावी हैं, एंड्रॉइड एक्सआर जैसे इमर्सिव प्लेटफ़ॉर्म में संक्रमण एक अनोखी चुनौती प्रस्तुत करता है: हम फ्लैट यूआई से आगे कैसे बढ़ें और वास्तव में साकार, स्थानिक रूप से जागरूक संवाद बनाएं?

इस अंतर को पाटने के लिए, हम एजेंट हैंड्स प्रस्तुत करते हैं, जो CHI 2026 में प्रकाशित है, एक शोध प्रोटोटाइप जो सह-भाषण जेस्चर की शक्ति को 3डी दुनिया में लाता है। मानव संचार में, हमारे हाथ केवल इशारा नहीं करते; वे आकारों का वर्णन करते हैं, क्रियाओं की नकल करते हैं, और बिंदुओं पर जोर देते हैं, सभी हमारी आवाज़ के साथ समकालिक होते हैं। एक्सटेंडेड रियलिटी (एक्सआर) की स्थानिक समझ क्षमताओं का लाभ उठाकर, एजेंट हैंड्स इस प्राकृतिक तालमेल को दोहराता है।

ह्यूमन आई/ओ और सेंसिबल एजेंट में हमारे पिछले शोध के बाद, एजेंट हैंड्स एआई एजेंटों को अभिव्यक्तिवादी, समकालिक हाथ जेस्चर से लैस करता है जो अमूर्त मौखिक निर्देशों को सहज भौतिक प्रदर्शनों में बदल देते हैं। मुख्य नवाचार एलएलएम के उच्च-स्तरीय तर्क को सटीक, वास्तविक समय की भौतिक गतियों में मैप करने की क्षमता है जो एजेंट की "आवाज़" और उपयोगकर्ता के एक्सआर वातावरण से मेल खाती हैं। कार्यप्रवाह में पर्यावरण जागरूकता, एक हाथ जेस्चर इवेंट लाइब्रेरी, जेस्चर-एम्बेडेड तर्क और समक्वित एक्सआर निष्पादन शामिल हैं।

इन मॉड्यूलों को एकीकृत करके, एजेंट हैंड्स भाषाई इरादे और भौतिक क्रिया के बीच एक निर्बाध पुल बनाता है। यह प्रणाली एक मानक एलएलएम आउटपुट को समृद्ध मल्टीमॉडल प्रदर्शन में बदल देती है जहां एजेंट के उत्पन्न उत्तर भाषण और स्थानिक रूप से सटीक गति दोनों के माध्यम से प्रकट होते हैं।