এই গবেষণায় মানুষ গ্রিড ধাঁধার ৯৮.০% সমাধান করেছে, একটি সহজ ধাঁধায় প্রায় ১১ সেকেন্ড এবং সবচেয়ে কঠিনটিতে দুই মিনিটের কিছু বেশি সময় লেগেছে। পরীক্ষিত সেরা মডেল GPT-6.1 Sol এর ৮৩.৬% সমাধান করে। এটি মানুষের কাছাকাছি শোনায়, কিন্তু সবচেয়ে কঠিন স্তরে এটি সমাধান করে ৪৯.৪%, অথচ মানুষ সমাধান করে ৯৪.৫%।
এই ধাঁধাগুলোর একটি সমাধান করতে কয়েকটি আলাদা দক্ষতা লাগে, এবং একটিমাত্র নির্ভুলতার সংখ্যা লুকিয়ে রাখে যে মডেলের কোন দক্ষতার ঘাটতি আছে। তাই গবেষকরা কাজটিকে চারটি প্রশ্নে ভাগ করেছেন: মডেল কি বোর্ড পড়তে পারে, বিশেষ করে কোনো ছবি থেকে? তারা কি নিজের রেখার হিসাব রাখতে পারে? তারা কি নিয়ম অনুসরণ করতে পারে? ধাঁধা কঠিন হলে তারা কি বেশি চেষ্টা করে? এই পোস্টটি তিনটি গবেষণাপত্রের ওপর ভিত্তি করে, যার মধ্যে EMNLP 2025-এ প্রকাশিত SPa RC নামের একটি স্থানিক পথ-অনুসন্ধান যুক্তির চ্যালেঞ্জও রয়েছে।
প্রতিটি ধাঁধা হলো ধূসর পথ দিয়ে যুক্ত সবুজ কোষের একটি বোর্ড। খেলোয়াড় প্রান্তের একটি বড় বৃত্ত থেকে একটি অ-ছেদী রেখা আঁকে একটি বেরোনোর প্রান্তে। চিহ্নগুলো ঠিক করে কোন রেখা বৈধ: বিন্দুগুলো রেখার ওপর থাকতে হবে, ফাঁকগুলো পথের অংশ আটকে দেয়, এবং ভিন্ন রঙের পাথরগুলো রেখা দ্বারা আবদ্ধ আলাদা অঞ্চলে থাকতে হবে। যে রেখা দুটি বিন্দুই পার হয় কিন্তু বেগুনি, কালো ও লাল পাথরকে একই অঞ্চলে রেখে দেয়, সেটি পাথরের নিয়ম ভাঙে, এবং সঠিক সমাধান বোর্ডের মধ্য দিয়ে একটি দীর্ঘতর পথ নেয়।
মানুষ ধাঁধাগুলো একটি ড্রয়িং অ্যাপে সমাধান করেছে, কিন্তু মডেলগুলো সাধারণত স্থানাঙ্কসহ একটি টেক্সট গ্রিড হিসেবে বোর্ড পায়। মডেলগুলো তাদের যুক্তি ব্যাখ্যা করে এবং তারপর ধাপে ধাপে অবস্থানের তালিকা হিসেবে রেখাটি লেখে। সম্পূর্ণ বেঞ্চমার্কে সাতটি নিয়মের ধরন রয়েছে, এবং সবচেয়ে কঠিন ধাঁধায় মানুষ ও মডেলের ব্যবধান দেখায় বর্তমান ব্যবস্থাগুলো কোথায় এখনো সংগ্রাম করে।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing