如果你在推特上关注我，或者读这篇博客，你会注意到我从一般乐观和兴奋对待AI转变成非常担忧。我想，我应该解释一下为什么我改变了主意。本文的每一部分都讲述了AI的一个方面，我在这个方面的观点发生了转变。我首先解释我之前的信念，以及为什么我持有这些信念，然后解释为什么这些信念发生了改变。目录 经济学 对齐 控制 写作 软件工程 让AI说了算 停滞 经济学 自动化曾是件好事。我们自动化了1790年人们做的99%的工作，结果并不是大规模失业，而是我们更富有、更健康、更受教育、有更多的休闲时间等等。我曾有一个模糊的、归纳性的想法：虽然我无法预测AGI之后会存在什么工作，但总会有人需要我做一些事情。如果说没什么的话，后AGI世界更高的经济增长意味着，人类的生存空间虽然在绝对terms上很小，但可能比今天的经济体量要大得多。这可能仍然是正确的。或者它可能暴露了我想象力的不足。如果AI发展到我们与AI之间存在持久的互补性，那么我们在后AGI的未来仍然可能有工作。但如果AI变得真正通用——也就是AGI中的G，并且在此基础上，它比人类更聪明、更快速、更便宜，那么我们可能除了靠UBI生活外，没有什么可做的了。当人们谈论UBI时，他们通常担心的是一个没有工作的世界中缺乏意义的问题。我从未有过这种担忧。在去年休假期间，我读书、写代码、和朋友一起玩耍。要是未来是一段由UBI资助的无限假期，我就知道我会做什么。“在奇点之前，读书和举办派对；在奇点之后，诸如此类。”但随后我开始思考AGI的政治后果，并开始写关于它：没有人能够逃脱永久的下层阶层：如果人类在经济上是无用的，国家不需要他们。为什么要给那些既没有经济也没有政治权力的人支付UBI呢？当未来不需要我们时：工厂工人可以破坏机器，卡车司机可以停止物流。但如果人类在经济上是无用的，那么人们就无法通过退出对政治秩序的贡献来否决政治秩序。而如果AI打仗，那么国家可以任意镇压。没有数学家的数学：大多数关于人类“晋升一层工作”的论点都失败了，因为AI也可以做那些工作。我们的仆人会为我们做这些事：即使是我们认为是独特于人类的工作，我们也可能更愿意让机器来做。 对齐 我曾希望对齐最终会变成一个普通的工程问题，我们通过实验和调查来解决它，就像其他事情一样。早期的LLM并不是像斯坦斯瓦夫·莱姆小说中的那种难以理解的外星心灵，而是非常人性的。很难不把它们当成人来看待。LLM中庞大的无监督学习部分理解人类道德观相当不错：你可以和它们讨论道德问题，它们会详尽、雄辩地解释为什么某件事根据某种道德体系是“好”或“坏”。而且，因为能力较弱，失败也非常小。2022年的ChatGPT能做的最坏的事情是什么？自从2024年左右，强化学习一直是推动前沿发展的主要技术。而强化学习agent的行为正如Yudkowsky所说的那样。因此，能力有了显著提高，但模型变得更难理解（字面上：它们的文字越来越难以理解），并且随着RL在追求奖励的过程中搅乱它们的大脑，它们变得越来越不对齐。严重的不对齐事件越来越常见，影响也越来越大。这很明显，AI的能力增长远远快于我们控制或甚至理解它们的能力。 控制 我曾以为——或者说，我隐含地认为……