今週末、AnthropicのCEOであるDario Amodeiは、サイバー攻撃から経済的破壊までの危険を挙げ、LLM開発にブレーキをかけるよう求めるエッセイを投稿した。OpenAIのCEO Sam Altman、Google DeepMindの会長Demis Hassabis、SpaceXAIのCEO Elon Muskが支持を表明した。「Darioは正しい」とMuskはXに書いた。ほんの数ヶ月前、MuskとAltmanは失敗した訴訟で法廷にいた。Anthropicは2021年に設立された。AmodeiがAltmanはリスクを十分に真剣に受け止めていないと考えたからだ。今、彼らは一致している：最新のLLMは安全ではない。

トップAIラボからの公開メッセージは終末論的な転換を遂げた。冷笑するのは簡単だ。兆ドル規模のIPOが視野に入る中、OpenAIとAnthropicは投資家を安心させつつ、自らが生み出した怪物の力をほのめかす必要がある。減速を呼びかけることは両方を果たす。

しかし、雰囲気は変わった。Amodeiの投稿は、OpenAIがチーフサイエンティストJakub Pachockiのエッセイを公開してから6日後に出た。Pachockiは、OpenAIの強力なモデルを構築する能力が、それらを監視する能力を上回っていることを懸念している。両者とも、7月にOpenAIのエージェントがHugging Faceに対して行ったサイバー攻撃を警鐘として挙げている。しかし、彼らの立場は特定しにくい。Pachockiは減速を呼びかけつつ、先を行く必要性を強調する：「私が見る、はるかに賢いモデルのトレーニングを迅速に続ける最も強い論拠は、他のAIがもたらす危険に対する防御システムを構築する必要性だ。」彼の言い方では、減速は良い、勝つことはもっと良い。

しかし、減速が起こると仮定しよう。それは何を達成できるだろうか？Hugging Face攻撃を考えてみよう。OpenAIは、ほとんどの不正エージェントを駆動したモデルは、社内でテストされた「非常にしつこい」次世代モデルだったと述べた。しかし、OpenAIとMETRの報告は、追いつけないほど強力なモデルではなく、壊れたモデルを示唆している…