En este estudio, las personas resolvieron el 98,0 % de los rompecabezas de cuadrícula, con un tiempo de unos 11 segundos para uno fácil y poco más de dos minutos para el más difícil. El mejor modelo probado, GPT-6.1 Sol, resuelve el 83,6 % de ellos. Eso suena cercano al desempeño humano, pero en el nivel más difícil resuelve el 49,4 %, mientras que las personas resuelven el 94,5 %.
Resolver uno de estos rompecabezas requiere varias habilidades distintas, y un único número de precisión oculta cuál de ellas le falta a un modelo. Por ello, los investigadores dividieron la tarea en cuatro preguntas: ¿pueden los modelos leer el tablero, especialmente a partir de una imagen? ¿Pueden llevar el registro de su propia línea? ¿Pueden seguir las reglas? ¿Se esfuerzan más cuando un rompecabezas es más difícil? La publicación se basa en tres artículos, entre ellos SPa RC, un desafío de razonamiento de búsqueda de rutas espaciales publicado en EMNLP 2025.
Cada rompecabezas es un tablero de celdas verdes unidas por carriles grises. El jugador traza una línea que no se cruza desde un gran círculo en el borde hasta un extremo de salida. Los símbolos determinan qué líneas son válidas: los puntos deben quedar sobre la línea, los huecos bloquean segmentos de carril y las piedras de distintos colores deben quedar en regiones separadas cerradas por la línea. Una línea que pasa por ambos puntos pero deja una piedra morada, negra y roja en una misma región rompe la regla de las piedras, y la solución correcta toma una ruta más larga por el tablero.
Las personas resolvieron los rompecabezas en una aplicación de dibujo, pero los modelos suelen recibir el tablero como una cuadrícula de texto con coordenadas. Los modelos explican su razonamiento y luego escriben la línea como una lista de posiciones, paso a paso. El punto de referencia completo contiene siete tipos de reglas, y la brecha entre personas y modelos en los rompecabezas más difíciles muestra dónde los sistemas actuales todavía tienen dificultades.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing