HeadlinesBriefing favicon HeadlinesBriefing.com

OpenAI Ускоряет Исследования с ИИ-Агентами

Hacker News •
×

Чтобы AGI принесла пользу всей человечести, мы считаем, что она должна управляться демократически. Это возможно только через общественное информированное обсуждение возможностей, рисков и средств защиты высококомпетентных систем ИИ. Людям по всему миру нужно понимать вероятный будущий траекторий фронтового ИИ, чтобы они могли иметь значимый голос в том, как он развивается. Прозрачность в отношении конкретных рисков, инцидентов и средств защиты необходима, но недостаточно. Мы считаем, что публике также нужно понимать, как развиваются самые способные системы, и как они продвигают прогресс исследований в передовых лабораториях. Мы стремимся безопасно построить автоматизированного исследователя ИИ, который будет работать под человеческим надзором для продвижения в глубоком обучении и выравнивании, обеспечивая итеративные улучшения. По нашим измерениям, мы теперь достигли цели, объявленной прошлой осенью, к сентябрю этого года. Под "автоматизированным исследователем" мы понимаем систему, способную выполнять хорошо определенные исследовательские задачи под руководством человека, включая задачи, которые заняли бы квалифицированного исследователя несколько дней. Мы делаем сильный прогресс к созданию автоматизированного исследователя ИИ к марту 2028 года. В течение этого года ежедневная работа исследователей OpenAI существенно изменилась. Исследователи используют кодирующие агенты в течение дня (часто в одновременных сессиях), и общий объем использования быстро растет, опережая рост среди других команд OpenAI. Исследователи быстрее вносят код и запускают больше экспериментов. Способы использования исследователями агентов также меняются: агенты берут на себя все более сложные задачи и чаще успешно их выполняют. Исследования в области ИИ — сложный процесс с множеством потенциальных узких мест, поэтому общий темп прогресса, скорее всего, не будет соответствовать этим конкретным метрикам. Но в целом эти результаты согласуются с общим внутренним впечатлением многих из нас, что агентные инструменты значимо ускоряют прогресс в исследованиях. Люди все еще задают наши исследовательские приоритеты, решают, какие идеи и результаты verfolgen, и решают, масштабировать, приостановить или развернуть системы. Если это сделано ответственно, мы считаем, что автоматизированные исследования приведут к моделям, которые напрямую повышают благополучие людей и продвигают миссию OpenAI. Можно снизить стоимость avanzed интеллекта, чтобы люди по всему миру могли от него bénéficieren. Мы ведем эту работу в части, потому что автоматизированные исследования могли бы помочь нам решить проблему выравнивания и построить оборону против все более способных ИИ. Автоматизированный исследователь ИИ также может быть автоматизированным исследователем по выравниванию. Более способные и выровненные системы могли бы помочь обеспечить критическую инфраструктуру, защитить от опасных агентов ИИ и разработать новые средства защиты. Это причины разрабатывать полезные автоматизированные исследовательские возможности, но они не означают, что быстрый RSI — это результат, который мы должны verfolgen. Whether и how to proceed must depend on our ability to preserve human control and on informed democratic choices about the benefits and risks. Мы не знаем, как безопасно до конца вывести к выровненному RSI. Мы работаем по масштабированию мер выравнивания и безопасности вместе с возможностями. Но мы не можем предполагать, что прогресс в выравнивании и безопасности будет идти в ногу, и более способные системы станут сложнее для мониторинга. Внимательная работа по выравниванию и безопасности находится в центре этого усилия, и она начинается с измерения и смягчения проблем безопасности, которые мы видим сегодня в агентных кодирующих системах. Whenever мы находим, что proceeding would pose an unacceptable safety risk, мы ответим соответствующим образом, включая замедление или остановку развития или развертывания систем, которые мы находим себя неспособны sufficiently safeguard. После недавнего инцидента Hugging Face, мы реализовали это обязательство, приостановив обучение с подкреплением (RL) на наших последних моделях, предназначенных для развертывания, пока мы дальнейшем закаляем и проводим red-team наши исследовательские среды и расширяем покрытие наших систем мониторинга.