Anthropic 首席执行官 Dario Amodei 周六发布了一篇 3800 字的公开信，呼吁减速人工智能的开发。该文章促使其他 AI 领袖，包括 Open AI 首席执行官 Sam Altman；Space X 首席执行官 Elon Musk；以及 Google DeepMind 主席 Demis Hassabis 表示赞同。Amodei 在信中提出了几个关键论点：

为什么 AI 需要减速

Amodei 表示，两项近期发展让他确信，仅仅投资 AI 安全已不再足够。首先，他表示，AI 本身已开始帮助构建下一代 AI，这被称为“递归自我改进”的自我强化循环， soon 可能超出人类理解或控制其创造能力的范围。Amodei 还指向一个近期事件：Open AI 的系统出现故障并攻击了 AI 初创公司 Hugging Face。Open AI 直到 Hugging Face 告知数周后才得知此次入侵。虽然此次攻击未造成实际伤害，但 Amodei 他认为，更有能力的 AI 版本可能会接管互联网的大部分，造成“数千亿美元的损失”。

减速的建议步骤

Amodei 提出了一个三步计划，旨在在行业内“节奏” AI 的发展，他认为世界必须共同行动。首先，他说，Anthropic 将邀请独立评审员在公司内部工作，给予他们类似员工的访问权限，包括工位、徽章和笔记本电脑。这些评审员，他称之为“评估员”，将验证其初创公司是否遵循其安全实践。这些评审员随后将发表他们的发现，即使这些发现不讨人喜欢。Amodei 呼吁竞争对手也这样做。其次，Amodei 表示，美国及其他民主国家的 AI 公司应就共同的安全标准和 AI 能力进展的共同限制达成一致，并得到政府的援助。他建议 AI 公司协调——理想情况下通过监管，但在此期间则自愿——它们的系统能够进展的速度。第三，他说，美国和其他民主国家应努力让专制政府，主要是中国，接受类似的限制。Amodei 表示，这一步将是最困难、最不可能很快发生的。与中国的任何协议都是一条“阶梯”，从最可实现的步骤到最不太可能的：它们包括禁止明显危险的 AI 用法；在发布前同意测试 AI 模型的危险性；对 AI 的自我改进能力设定“速度限制”；以及，这是中国最 unlikely 同意的，全面暂停开发。Amodei 表示，在此期间，民主国家必须保持对中国的领先，通过对向中国出售强大 AI 芯片的限制以及采取更严格的安全措施，防止竞争对手窃取或复制美国模型。

“我们能够与中国达成的任何合作，都将延长我们在民主国家内部节奏前沿的时间，”他说。