Новое исследование, проведённое исследователями Принстонского университета, указывает, что обещания ИИ-индустрии о быстром рекурсивном самосовершенствовании могут быть преувеличены. Под руководством Питера Киргиса и Саиша Капура, команда оценила способность ИИ-агентов проводить открытые исследования ИИ с использованием метода под названием "теневая оценка". Они поручили Claude Opus 4.8 от Anthropic ответить на вопросы из непубликованных статей NeurIPS 2026, предоставив агентам шесть дней, $3,000 в виде кредитов API и доступ к GPU и интернету.
Хотя агенты успешно справились с инженерными аспектами исследования — обзор литературы, проведение экспериментов и сбор результатов — они не смогли произвести публикационный материал. Оригинальные авторы отклонили обе статьи, ссылаясь на отсутствие креативности, плохое суждение и отсутствие новых вкладов. Агенты провели странные эксперименты, испытывали трудности с написанием и слишком быстро решились на малоперспективные подходы.
Капур приписывает этот разрыв текущим методам обучения, отмечая, что обучение с подкреплением превосходит в проверяемых задачах, но сталкивается с трудностями в открытых исследованиях, требующих интуиции и вкуса. Несмотря на эти ограничения, исследование предполагает, что завышенные сроки для автоматизации ИИ-исследований могут быть преждевременными.
Результаты совпадают с внутренними наблюдениями компаний ИИ. Сооснователь Anthropic Джек Кларк отметил аналогичные пробелы в креативности в своих усилиях по автоматизации исследований в области безопасности, назвав это "негативным сигналом для кратких сроков рекурсивного самосовершенствования".
Источник: MIT Technology Review AI · Сводку подготовил HeadlinesBriefing