بينما تتطور مساعدات الذكاء الاصطناعي من واجهات نصية بسيطة إلى رفقاء متعددي الوسائط، نشهد تحولًا نحو مساعدة أكثر استباقية ومرتبطة بالسياق. الابتكارات الحديثة مثل Project Astra و Gemini 3.1 Flash Live تسمح بالفعل للمستخدمين بمناقشة محيطهم المادي في الوقت الفعلي، وغالبًا ما تستخدم تراكبات مربعات الحدود المرئية لتحديد الكائنات في بث الكاميرا. بينما هذه التراكبات فعالة للغاية للشاشات ثنائية الأبعاد، الانتقال إلى منصات غامرة مثل Android XR يقدم تحديًا فريدًا: كيف نتجاوز واجهة المستخدم المسطحة لإنشاء حوار مجسد وواعي مكانيًا حقًا؟

لسد هذه الفجوة، نقدم أيدي الوكيل، المنشور في CHI 2026، وهو نموذج أولي بحثي يجلب قوة الإيماءات المصاحبة للكلام إلى العالم ثلاثي الأبعاد. في التواصل البشري، لا تقوم أيدينا بالإشارة فقط؛ بل تصف الأشكال، وتقلد الأفعال، وتؤكد النقاط، كل ذلك متزامن مع صوتنا. من خلال الاستفادة من قدرات الفهم المكاني للواقع الممتد (XR)، يكرر أيدي الوكيل هذا التآزر الطبيعي.

بعد أبحاثنا السابقة في Human I/O و Sensible Agent، يجهز أيدي الوكيل وكلاء الذكاء الاصطناعي بإيماءات يد تعبيرية ومتزامنة تحول التعليمات اللفظية المجردة إلى عروض فيزيائية بديهية. الابتكار الأساسي هو قدرته على ربط التفكير عالي المستوى لنماذج اللغة الكبيرة بحركات فيزيائية دقيقة في الوقت الفعلي تتوافق مع "صوت" الوكيل وبيئة المستخدم في الواقع الممتد. يتضمن سير العمل الوعي البيئي، ومكتبة أحداث الإيماءات، والتفكير المدمج بالإيماءات، والتنفيذ المتزامن للواقع الممتد.

من خلال دمج هذه الوحدات، يخلق أيدي الوكيل جسرًا سلسًا بين النية اللغوية والعمل الفيزيائي. يحول النظام مخرجات نموذج اللغة القياسية إلى أداء متعدد الوسائط غني حيث تظهر استجابات الوكيل من خلال الكلام والحركة المكانية الدقيقة.