В середине 2023 года, в рамках исследовательского проекта 'RLSlow', мы увидели первые результаты, которые дали нам уверенность в том, что мы сможем масштабировать обучение моделей рассуждений, раскрыв способность предобученных моделей формировать свои собственные цепочки мышления. Szymon и я провели ту ночь в офисе, думая не о потрясающих показателях бенчмарка, продуктах или научных результатах, которые эта технология предоставит, а пытаясь осмыслить тревожный факт, что мы действительно увидим машины, значительно более умные, чем мы сами, в течение нашей жизни, и мы уже видим форму этих систем; задаваясь вопросом, как предупредить людей о значимости этого. Через три года модели языкового рассуждения стали быстро растущей частью экономики и начали расширять границы науки. Они способны управлять компьютерами и графическими интерфейсами, сотрудничать с людьми и друг с другом, а также проводить исследовательские проекты. Они также преобразуют ландшафт компьютерной безопасности, и в этом процессе представляют собой четкие новые опасности. За этот период произошло много новых исследований, и наше понимание этих систем снова немного отличается от того, что было в 2023 году. На основе внутренних результатов у меня есть сильное ожидание, что эта скорость прогресса может быть поддержана в рекурсивном самосовершенствовании. Если развитие ИИ будет продолжаться по текущему пути, то системы, которые мы увидим в ближайшие годы, вероятно, будут представлять дальнейшие скачки способностей равной или большей величины, и они будут все больше стимулировать собственное развитие. Это время требует крайней осторожности. Я обеспокоен тем, что никто не готов к последствиям продолжительного быстрого роста машинного интеллекта. Open AI продолжит искать технические решения для выравнивания и мониторинга, создавать защитные системы и односторонне придерживаться дальнейшего масштабирования при необходимости; однако, я считаю, что необходимы более широкие вмешательства.