AI সহায়করা সাধারণ টেক্সট ইন্টারফেস থেকে মাল্টিমোডাল সঙ্গী হয়ে উঠছে, আমরা আরও সক্রিয় এবং প্রাসঙ্গিক সহায়তার দিকে পরিবর্তন দেখছি। প্রজেক্ট অ্যাস্ট্রা এবং জেমিনি 3.1 ফ্ল্যাশ লাইভের মতো সাম্প্রতিক উদ্ভাবন ইতিমধ্যে ব্যবহারকারীদের রিয়েল-টাইমে তাদের শারীরিক পরিবেশ নিয়ে আলোচনা করতে দেয়, প্রায়শই ক্যামেরা ফিডে বস্তু শনাক্ত করতে ভিজ্যুয়াল বাউন্ডিং বক্স ওভারলে ব্যবহার করে। এই ওভারলেগুলি 2D স্ক্রিনের জন্য অত্যন্ত কার্যকর হলেও, Android XR-এর মতো ইমার্সিভ প্ল্যাটফর্মে রূপান্তর একটি অনন্য চ্যালেঞ্জ উপস্থাপন করে: আমরা কীভাবে ফ্ল্যাট UI-এর বাইরে গিয়ে সত্যিকারের মূর্ত, স্থানিকভাবে সচেতন সংলাপ তৈরি করব?

এই ফাঁক পূরণ করতে, আমরা এজেন্ট হ্যান্ডস উপস্থাপন করছি, যা CHI 2026-এ প্রকাশিত, একটি গবেষণা প্রোটোটাইপ যা সহ-বক্তৃতা অঙ্গভঙ্গির শক্তিকে 3D জগতে নিয়ে আসে। মানব যোগাযোগে, আমাদের হাত কেবল ইঙ্গিত করে না; তারা আকার বর্ণনা করে, ক্রিয়া অনুকরণ করে এবং পয়েন্টগুলিকে জোর দেয়, সবই আমাদের কণ্ঠের সাথে সিঙ্ক্রোনাইজড। এক্সটেন্ডেড রিয়েলিটি (এক্সআর) এর স্থানিক বোঝার ক্ষমতা ব্যবহার করে, এজেন্ট হ্যান্ডস এই প্রাকৃতিক সমন্বয় প্রতিলিপি করে।

হিউম্যান ইনপুট/আউটপুট এবং সেন্সিবল এজেন্টে আমাদের পূর্ববর্তী গবেষণার পর, এজেন্ট হ্যান্ডস AI এজেন্টদেরকে অভিব্যক্তিপূর্ণ, সিঙ্ক্রোনাইজড হাতের অঙ্গভঙ্গি দিয়ে সজ্জিত করে, যা বিমূর্ত মৌখিক নির্দেশকে স্বজ্ঞাত শারীরিক প্রদর্শনে রূপান্তরিত করে। মূল উদ্ভাবন হল LLM-এর উচ্চ-স্তরের যুক্তিকে সুনির্দিষ্ট, রিয়েল-টাইম শারীরিক গতিতে ম্যাপ করার ক্ষমতা যা এজেন্টের "কণ্ঠস্বর" এবং ব্যবহারকারীর এক্সআর পরিবেশের সাথে মেলে। কর্মপ্রবাহে পরিবেশ সচেতনতা, একটি হাতের অঙ্গভঙ্গি ইভেন্ট লাইব্রেরি, অঙ্গভঙ্গি-এমবেডেড যুক্তি এবং সিঙ্ক্রোনাইজড এক্সআর সম্পাদন অন্তর্ভুক্ত।

এই মডিউলগুলিকে একীভূত করে, এজেন্ট হ্যান্ডস ভাষাগত অভিপ্রায় এবং শারীরিক ক্রিয়ার মধ্যে একটি নিরবচ্ছিন্ন সেতু তৈরি করে। সিস্টেমটি একটি মানক LLM আউটপুটকে সমৃদ্ধ মাল্টিমোডাল পারফরম্যান্সে রূপান্তরিত করে যেখানে এজেন্টের উত্পন্ন প্রতিক্রিয়াগুলি বক্তা এবং স্থানিকভাবে সঠিক গতির মাধ্যমে প্রকাশ পায়।