في هذه الدراسة، حلّ البشر 98.0% من ألغاز الشبكة، واستغرق الأمر نحو 11 ثانية للّغز السهل، وما يزيد قليلاً على دقيقتين لأصعب لغز. أفضل نموذج اختُبر، وهو GPT-6.1 Sol، يحلّ 83.6% منها. يبدو ذلك قريباً من الأداء البشري، لكنه على المستوى الأصعب يحلّ 49.4%، بينما يحلّ البشر 94.5%.
يتطلب حلّ أحد هذه الألغاز عدة مهارات منفصلة، والرقم الواحد للدقة يُخفي المهارة التي يفتقر إليها النموذج. لذلك قسّم الباحثون المهمة إلى four أسئلة: هل تستطيع النماذج قراءة اللوحة، خاصة من صورة؟ هل تستطيع تتبع خطها الخاص؟ هل تستطيع اتباع القواعد؟ هل تبذل جهداً أكبر عندما يكون اللغز أصعب؟ ويستند المنشور إلى ثلاث أوراق بحثية، منها SPa RC، وهو تحدٍّ للتفكير في إيجاد المسارات المكانية نُشر في EMNLP 2025.
كل لغز عبارة عن لوحة من خلايا خضراء مترابطة بممرات رمادية. يرسم اللاعب خطاً واحداً غير متقاطع من دائرة كبيرة على الحافة إلى نهاية مخرج. تحدد الرموز الخطوط الصالحة: يجب أن تقع النقاط على الخط، وتعيق الفجوات مقاطع الممر، ويجب أن تنتهي الأحجار ذات الألوان المختلفة في مناطق منفصلة مغلقة بالخط. فالخط الذي يمر بالنقطتين لكنه يترك حجراً بنفسجياً وأسود وأحمر في منطقة واحدة يكسر قاعدة الأحجار، والحل الصحيح يسلك مساراً أطول عبر اللوحة.
حلّ البشر الألغاز في تطبيق رسم، لكن النماذج تتلقى عادةً اللوحة كشبكة نصية بإحداثيات. تشرح النماذج استدلالها ثم تكتب الخط كقائمة من المواضع خطوة بخطوة. يحتوي المعيار الكامل على سبعة أنواع من القواعد، وتُظهر الفجوة بين البشر والنماذج في أصعب الألغاز المواضع التي لا تزال الأنظمة الحالية تعاني فيها.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing