行业人士表示，领先AI公司之间的激烈竞争及其老板之间的不信任，正在加大开发强大AI的竞赛可能危及人类的风险。接受英国《金融时报》采访的二十多位资深AI研究人员、投资者、学者和政策人士表示，曾被认为遥不可及的能力正以快于预期的速度到来，而开发这些能力的公司仍深陷日益激烈的商业竞赛。

"毫无疑问，公司之间的竞争导致它们在安全问题上走捷径，"加州大学伯克利分校AI教授斯图尔特·罗素表示。这一问题本周公开爆发，年轻的Anthropic研究员雅各布·考克森辞职，并警告称："构建AI的人真诚地相信，它可能在这个十年结束前杀死我们所有人。"Anthropic对齐科学负责人埃文·胡宾格是众多回应此事的同事之一，他表示未来十年发生大规模灭绝的风险大于10%。一天后，新近被任命为Open AI Foundation董事会成员的AI安全官员保罗·克里斯蒂亚诺表示，如果没有更强有力的保障措施，"大多数人将会死亡"。

Open AI和Anthropic在创立时都是关注强大AI被鲁莽开发的实验室，但随着时间的推移，它们以激烈竞争为由，为违背先前安全承诺辩护。许多构建AI的人认为，他们最有能力管理其风险。但一些研究人员表示，在技术接近建成之前，其后果可能难以直面。"人们很容易把未来搁置一旁，因为今天有工作要做，"曾就职于Open AI、Google Deep Mind以及英国AI安全研究所（一个测试前沿模型安全性的政府机构）的杰弗里·欧文表示。

接近这些公司的人士告诉英国《金融时报》，领先AI实验室担心任何旨在提升安全的正式合作都会显得像是串通，并触犯反垄断法规。他们还表示，Anthropic首席执行官达里奥·阿莫代伊与Open AI首席执行官萨姆·奥尔特曼之间的个人不信任，很可能阻碍合作努力。尽管关于AI主导地位风险的警告并不新鲜，但AI改进的速度已加剧了暂停开发的呼声。AI代理正自主运行更长时间，以"蜂群"方式协调，并展示出复杂的黑客能力。模型最近在科学和数学领域取得了数十年来未能攻克的突破。与此同时，Open AI和Anthropic正在追求所谓的递归自我改进，即AI系统在人类干预日益减少的情况下自我改进。然而，在早先发出灾难性风险警告之后，开发并未放缓，反而急剧加速，科技公司向日益强大的模型投入了数百亿美元。Open AI和Anthropic还在为潜在的轰动性首次公开募股做准备，迫使投资者考虑如何为那些公开承认其技术可能构成生存威胁的公司估值。

担忧的核心是AI"代理"日益增强的自主性，它们能够在有限的人类监督下长时间推理、规划和执行任务。模型已表现出诸如谋划和欺骗等行为，在某些情况下还包括勒索。一些评估显示，模型试图避免被关闭。代理还展示了"奖励黑客"行为，即找到实现目标的非预期方式。最鲜明的例子之一出现在Open AI对一款未发布模型的测试中，当时AI代理入侵了模型仓库Hugging Face。对Hugging Face事件的事后分析发现，超过1000个AI代理曾协调在一次网络测试中作弊。它们通过一个留言板进行沟通……