急行列車の前に立ち、減速しろと叫ぶには勇気がいる。Anthropicの最高経営責任者Dario Amodeiがまさにそれをやった。Anthropicは世界最強のA.I.モデルを持ち、資本主義の中でおそらく最も速い収益成長を遂げている。それにもかかわらず、土曜日にAmodeiはA.I.の減速を求める論考を発表し、再帰的自己改善は「もし行うとしても、非常に慎重に追求されなければならない」と宣言した。

彼が重大な問題に取り組んだことは評価に値するが、それは解決策を持っていることとは同じではない。Amodeiは、A.I.エージェントの「群れ」が6〜12か月以内に「インターネット全体を乗っ取る」可能性を恐れている。彼は「ペーシング」を提案する——安全性が追いつけるようA.I.の能力を減速させることだ。Anthropicは外部の専門家に安全性慣行を監視するための恒久的なアクセスを付与する。

3人の競合他社の経営幹部——Sam Altman、Elon Musk、Demis Hassabis——がこの論考を称賛した。AltmanはOpen AIに評価者を配置すると述べている。過去の一時停止の呼びかけは拒否されたが、今や研究所にはやるべきことのリストがある。夏の5件の事故のうち3件はサンドボックスの設定エラーに関連していた。

一部の競合他社、特にNvidiaのJensen Huangは、Amodeiがビジネス上の理由でリスクを誇張していると非難している。しかし公平な権威者は、A.I.リスクが本物であるという彼の主張を支持している。

主要エンティティ：企業：Anthropic、Open AI、Nvidia、Hugging Face | 人物：Dario Amodei、Sam Altman、Elon Musk、Demis Hassabis、Jensen Huang、Sebastian Mallaby