HeadlinesBriefing favicon HeadlinesBriefing.com

AI終末論者が再帰的自己改善のリスクを警告

New York Times Top Stories •
×

ジェフ・クレーンは、Recursive Superintelligenceの共同創設者として、人工知能が自分自身を構築し、訓練する方法を学ぶことで、指数関数的な進歩とリスクが生じ得ると警告しています。エドワード・ヒューズとルイ・キルシュは、元Googleの研究者で、ロンドンにInherentを立ち上げるために退職し、彼らの日々のデータで訓練されたFaradayというシステムを構築しました。これは自己改善を行うものです。Inherentは人間の監督を約束していますが、多くの企業が同様の技術を追求しています。一部の研究者は、AIシステムが最終的にほとんど人間の介入なしで自己改善を行うようになると考えており、この目標は再帰的自己改善(RSI)と呼ばれます。Anthropicは最近、RSIに向かう開発が人間の制御喪失のリスクを高める可能性があると警告しました。テクノ・フィロソフたちは長年、自己改善を行うシステムが人間の制御から解放され、他のどの機関よりも永続的に強力になる可能性があると仮説を立ててきました。イェール大学経済学教授のジェイソン・アバルックは、単一のモデルがライバルを無力化しながらより多くの力を獲得する可能性があると警告しました。Inherentが示すように、AI技術はすでに新しいAIシステムの開発を加速しており、構成要素を生成し、システムがデータを分析する方法を最適化することができます。InherentやRecursive Superintelligenceのような企業は、AIの構築方法についてまったく新しい考え方を生み出すことができる技術を構築することを目指しており、これにより業界は現在の基本的な方法を超えて進む可能性があります。