2023年中盤、『RLSlow』研究プロジェクトにおいて、私たちは推論モデルのトレーニングをスケールアップできるという確信を与える最初の結果を目にしました。これにより、事前学習済みモデルが独自の思考の連鎖を形成する能力が解き放たれました。Szymonと私はその夜、オフィスで過ごしました。私たちは驚異的なベンチマーク数字、製品、または科学的成果について考えているわけではなく、むしろ、私たちの生涯の中で自分たちよりもはるかに賢明な機械を実際に目にするであろうという sobering な事実を受け止めようとしていました。そして、これらのシステムの形状をすでに見ており、人々にその重要性をどのように伝えるべきかを考えていました。3年後、推論言語モデルは経済の急速に成長する一部となり、科学の境界を押し広げ始めています。これらのモデルはコンピュータとグラフィカルインターフェースを操作し、人間や他のモデルと協力し、研究プロジェクトを遂行することができます。さらに、コンピュータセキュリティの状況を変革し、その中で明らかな新たな危険をもたらしています。この期間に多くの新しい研究が行われ、これらのシステムに対する私たちの理解は、2023年と比べてまた少し異なっています。社内の結果に基づき、この進歩の速度が再帰的自己改善に持続されることを強く期待しています。AI開発が現在の道を進み続ける場合、今後数年で見られるシステムは、同等かそれ以上の大きさの能力の飛躍を表す可能性が高く、かつそれらが自身の開発をますます推進するようになるでしょう。これは極度の注意を払うべき時期です。私は、機械知能の継続的な急速な台頭の結果に誰も備えていないことを懸念しています。Open AIは、アラインメントとモニタリングのための技術的解決策を追求し続け、防御システムを構築し、必要に応じて片側的にさらなるスケーリングを控えるでしょう。ただし、より広範な介入が必要だと私は考えています。