В этом исследовании люди решили 98,0% сеточных головоломок: на простую уходило около 11 секунд, а на самую сложную — чуть больше двух минут. Лучшая из протестированных моделей, GPT-6.1 Sol, решает 83,6% из них. Это звучит близко к человеческому уровню, но на самом сложном уровне она решает 49,4%, а люди — 94,5%.
Решение такой головоломки требует нескольких отдельных навыков, и единственный показатель точности скрывает, какого из них не хватает модели. Поэтому исследователи разделили задачу на четыре вопроса: умеют ли модели читать доску, особенно по изображению? Могут ли они отслеживать собственную линию? Умеют ли они следовать правилам? Стараются ли они больше, когда головоломка сложнее? Публикация опирается на три работы, в том числе SPa RC, задачу на рассуждение о поиске пространственных путей, опубликованную на EMNLP 2025.
Каждая головоломка — это доска из зелёных клеток, соединённых серыми дорожками. Игрок проводит непересекающуюся линию от большого круга на краю до выходного отрезка. Символы определяют, какие линии допустимы: точки должны лежать на линии, разрывы блокируют участки дорожек, а камни разных цветов должны оказаться в отдельных областях, отделённых линией. Линия, которая проходит через обе точки, но оставляет фиолетовый, чёрный и красный камни в одной области, нарушает правило камней, и правильное решение идёт по более длинному пути через доску.
Люди решали головоломки в приложении для рисования, а модели обычно получают доску в виде текстовой сетки с координатами. Модели объясняют своё рассуждение, а затем шаг за шагом записывают линию как список позиций. Полный бенчмарк содержит семь типов правил, и разрыв между людьми и моделями на самых сложных головоломках показывает, где современные системы всё ещё испытывают трудности.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing