在2023年中，在'RLSlow'研究项目中，我们看到了首批结果，这些结果让我们有信心能够扩展推理模型的训练，从而解锁预训练模型形成自身思维链的能力。Szymon和我那天晚上在办公室里，我们并没有思考这项技术将带来的令人惊叹的基准数字、产品或科学成果，而是试图消化这样一个令人沉重的事实：我们将在有生之年看到机器变得比我们自己更聪明，而且我们已经看到这些系统的雏形；我们在思考如何向人们警示这一点的重要性。三年后，推理语言模型已成为经济中快速增长的一部分，并开始推动科学的边界。它们能够操作计算机和图形界别，与人类和彼此协作，并开展研究项目。它们也在改变计算机安全的格局，并在此过程中带来明确的新危险。在这段时间里，大量新研究涌现，我们对这些系统的理解又有所不同，与2023年时有所区别。基于内部结果，我强烈认为这种进步速度可以持续到递归自改进。如果AI发展继续沿着当前路径前进，我们在未来几年看到的系统很可能代表能力的进一步跃升，其幅度等于或更大，并且它们将越来越多地推动自身的发展。这是一个需要极端谨慎的时刻。我担心没有人准备好面对机器智能持续快速提升的后果。Open AI将继续寻求技术方案来解决对齐和监控问题，以构建防御系统，并在必要时单方面暂停进一步的扩展；然而，我认为需要更广泛的干预措施。