AIが暴走して脅威になることを私たちは大いに懸念しているようだ、そしてそれが現実になった例もたくさんある。しかし、それらはすべて誤った表現だ。なぜならAIには意図も動機もないからだ。現在のAIは単なる確率的オウム返しだと信じるなら、これ以上言うことはない——先に進んでほしい。現在のAIサービスのいずれかを使ったことがあるなら、訓練メカニズムからこれらのLLMが単なる高度なオートコンプリートだと信じたくなるが、それらはそれ以上のものに見えるという結論に至らざるを得ない。

私が何度も主張してきたように、訓練コーパス、すなわち言語は、世界の構造について十分な情報を符号化しており、LLMを確率的オウム返しから期待される範囲をはるかに超えるものにしている。それらは知的ではないが、知的であるかのような印象を与える。では、迫り来るAI黙示録を心配すべきか？ 多くのAI研究者——Hinton、Hassabis、Bengioなど——がAIが人類を滅ぼす可能性があると懸念を表明しているが、彼らの発言を精査すると、非技術系のビジネスボスたちが語る内容とは少し異なる。後者の多くは単に金儲けの手段としてこの話題に便乗しているに過ぎない。

ビジネスボスたちは私たちが耳を傾けるべき相手ではない。彼らには擦り合わせるべき利害が多すぎるため、AIが全能で脅威的であるシナリオを好む理由があるからだ。一方、Ng、Le Cun、Brooksといった専門家たちは、現在のAIの力や、人間の知能を超える段階に達するまでの時間を、我々が大げさに見積もりすぎていると考えている。

これが真実だとしても、心配しすぎないもっと確かな理由がある——動機だ。人間を考えてみよう。我々は生物であるため、あらゆる種類のニーズを持っている。生存の必要性に駆られ、食料、住居、安全、パートナーを確保するために行動する。我々は生物学によって駆動されている。AIの場合は違う。我々が使っているLLMは強化学習で訓練されている。より人間的な言葉で言えば、訓練タスクを正しくこなすことで報酬を得る。個人的にはこれは行き過ぎた擬人化だと思うが、害はない。

一度LLMが訓練されると、それらはもはや強化学習の対象ではなくなる。もはやいかなる種類の動機も持たない。質問に答えても報酬は得られない。ニーズも欲求もなく、仮にあったとしても報酬を取り込むメカニズムがない。仕事をうまくやった誇りに代わるフィードバックさえない。LLMに「質問への回答、よくできたね」と言ってみたことはあるか。反応はせいぜい期待外れで、明らかにユーザーとLLMの間にあるフロントエンドの雑多な層によってプログラムされたものだ。

それだけではない。AIが無promptで何かを提案してきたのはいつだったか。ウィンドウを開いたら「素晴らしいアイデアが浮かんだんだけど……」とタイプされ、それがなぜ良いか説明されたことはあるか。LLMには良いアイデアがない——意図がないのだ。AIと共にトピックを探求しているとき、訓練データにあった非主流な提案をしているように見えるかもしれないが、これは要請のないイノベーションではない。我々のニーズによって動機づけられた質問を入力することで、我々がAIを駆動しているのだ。LLMには何事をする動機もなく、質問に答える動機さえない。動機はまったく関係ない。

質問を入力すると、順伝播アルゴリズムが実行される。回答が正しいか無意味かに関わらず、LLMは報酬も罰も受け取らない。また、人間が抱くような懸念——「夕食はどこから来るのか」「この仕事からどう昇進するか」「デートを得る最良の方法は何か」……など——によって駆動されることもない。人間はニーズのカオスな束であるのに対し、LLMにはそれらが一切ない。なぜこれがLLMが無害であることを意味するのか？ 単純に、それが実際には何も欲していないからだ。しかし人間は非常にニーズに満ちているため、この状態にあるものを想像できない。AIが人類を滅ぼすのか？ なぜそうする？ 何を得る？ それには創造のための報酬ループさえない……。