GPT-6 Astra от OpenAI набирает 62,7% за 26 тыс. долларов на ARC-AGI-3 Semi-Private с нашей стандартной оснасткой и 99,9% за 19 тыс. долларов с оснасткой адаптера провайдера. Оба результата являются передовыми.

GPT-6 Astra превосходит человеческий базовый уровень по эффективности действий на ARC-AGI-3, используя меньше действий, чем медианный тестируемый человек, на 96% уровней. Он превращает незнакомые среды в компактные символические модели мира, представляя игровые механики как логические правила и разрабатывая собственный сокращенный язык для конкретной области.

ARC-AGI-3 — это бенчмарк для изучения агентного интеллекта через новые, абстрактные, пошаговые среды. Агенты должны исследовать, выводить цели и строить внутренние модели для планирования действий. Люди могут решить 100% сред. Цель — измерить остаточный разрыв между текущим ИИ и AGI.

ARC-AGI-3 проверяет четыре компонента: исследование, моделирование, постановку целей и планирование/выполнение. Более высокие уровни рассуждений обычно стоят меньше, потому что Astra решает игры с меньшим количеством действий, сокращая вызовы моделей и токены. Для сравнения затрат участникам-людям платили 115 долларов за 90-минутную сессию плюс 5 долларов за каждую завершенную игру.

Ключевые субъекты: Компании: OpenAI