Dans cette étude, les humains ont résolu 98,0 % des puzzles en grille, environ 11 secondes pour un puzzle facile et un peu plus de deux minutes pour le plus difficile. Le meilleur modèle testé, GPT-6.1 Sol, en résout 83,6 %. Cela semble proche de l'humain, mais au niveau le plus difficile il n'en résout que 49,4 %, alors que les humains en résolvent 94,5 %.
Résoudre l'un de ces puzzles mobilise plusieurs compétences distinctes, et un seul chiffre de précision masque celle qui fait défaut à un modèle. Les chercheurs ont donc scindé la tâche en quatre questions : les modèles savent-ils lire le plateau, surtout à partir d'une image ? Savent-ils garder la trace de leur propre tracé ? Savent-ils suivre les règles ? Font-ils davantage d'efforts lorsque le puzzle est plus difficile ? L'article s'appuie sur trois publications, dont SPa RC, un défi de raisonnement sur la recherche de chemins spatiaux publié à EMNLP 2025.
Chaque puzzle est un plateau de cases vertes reliées par des voies grises. Le joueur trace une ligne sans croisement depuis un grand cercle situé sur le bord jusqu'à une sortie. Des symboles déterminent les lignes valides : les points doivent se trouver sur la ligne, les trous bloquent des segments de voie, et les pierres de couleurs différentes doivent se retrouver dans des régions séparées, fermées par la ligne. Une ligne qui passe par les deux points mais laisse une pierre violette, noire et rouge dans une même région enfreint la règle des pierres, et la solution correcte emprunte un chemin plus long à travers le plateau.
Les humains ont résolu les puzzles dans une application de dessin, mais les modèles reçoivent généralement le plateau sous la forme d'une grille de texte avec des coordonnées. Les modèles expliquent leur raisonnement puis écrivent la ligne sous forme de liste de positions, étape par étape. Le benchmark complet comprend sept types de règles, et l'écart entre humains et modèles sur les puzzles les plus difficiles montre où les systèmes actuels peinent encore.
Source: Towards Data Science · Résumé par HeadlinesBriefing