Dalam studi ini, manusia memecahkan 98,0% teka-teki kisi, dengan waktu sekitar 11 detik untuk teka-teki mudah dan sedikit lebih dari dua menit untuk yang paling sulit. Model terbaik yang diuji, GPT-6.1 Sol, memecahkan 83,6% darinya. Angka itu terdengar mendekati manusia, tetapi pada tingkat tersulit ia hanya memecahkan 49,4%, sementara manusia memecahkan 94,5%.
Memecahkan salah satu teka-teki ini memerlukan beberapa keterampilan terpisah, dan satu angka akurasi menyembunyikan keterampilan mana yang tidak dimiliki model. Oleh karena itu, para peneliti membagi tugas menjadi empat pertanyaan: Apakah model dapat membaca papan, terutama dari gambar? Dapatkah mereka melacak garis mereka sendiri? Dapatkah mereka mengikuti aturan? Apakah mereka berusaha lebih keras saat teka-teki menjadi lebih sulit? Tulisan ini didasarkan pada tiga makalah, termasuk SPa RC, sebuah tantangan penalaran pencarian jalur spasial yang diterbitkan di EMNLP 2025.
Setiap teka-teki adalah papan sel hijau yang dihubungkan oleh jalur abu-abu. Pemain menggambar satu garis yang tidak saling menyilang dari lingkaran besar di tepi menuju ujung keluar. Simbol menentukan garis mana yang valid: titik harus berada pada garis, celah menghalangi segmen jalur, dan batu dengan warna berbeda harus berada di wilayah terpisah yang tertutup oleh garis. Garis yang melewati kedua titik tetapi menyisakan batu ungu, hitam, dan merah dalam satu wilayah melanggar aturan batu, dan solusi yang benar mengambil rute yang lebih panjang melintasi papan.
Manusia memecahkan teka-teki di aplikasi menggambar, tetapi model biasanya menerima papan sebagai kisi teks dengan koordinat. Model menjelaskan penalarannya lalu menuliskan garis sebagai daftar posisi, langkah demi langkah. Benchmark lengkap berisi tujuh jenis aturan, dan kesenjangan antara manusia dan model pada teka-teki tersulit menunjukkan di mana sistem saat ini masih kesulitan.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing