HeadlinesBriefing favicon HeadlinesBriefing.com

OpenAI AI エージェントで研究を加速

Hacker News •
×

AGIが人類全体に利益をもたらすためには、民主的に統治される必要があると我々は信じています。これできるのは、高度に能力の高いAIシステムの能力、リスク、およびセーフガードについての情報に基づいた公衆討論がある場合のみです。世界中の人々は、フロンティアAIの可能性のある未来の軌道を理解し、その発展に意味のある声を持てるようにする必要があります。特定のリスク、インシデント、およびセーフガードについての透明性は必要ですが、十分ではありません。我々はまた、最も能力の高いシステムがどのように開発されているか、およびフロンティアラボでの研究進捗をどのように牽引しているかを公衆が理解する必要があると考えています。我々は、人間の監督の下で作業し、ディープラーニングとアライメントの進捗をさらに推進する自動化されたAI研究者を安全に構築することを目指しています。これにより、反復的な改善が可能になります。当社の測定によると、今秋に発表された目標である今年の9月までに自動化された研究インターンを達成したとのことです。「研究インターン」とは、人間の指導の下でwell-defined研究タスクを実行できるシステムを指し、熟練した研究者に数日かかるタスクを含みます。我々は2028年3月までに自動化されたAI研究者を作成する強力な進捗を遂げています。今年、OpenAIの研究者の日常的な作業は実質的に変化しました。研究者は1日を通してコーディングエージェントを使用しています(しばしば並列セッションで)し、総使用量は急速に増加しており、OpenAIの他のチームの成長を上回っています。研究者はより速くコードを貢献し、より多くの実験を行っています。研究者がエージェントを使用する方法も変化しています:エージェントはますます複雑なタスクを処理し、成功率も高まっています。AI研究は多くの潜在的ボトルネックを持つ複雑なプロセスであるため、全体的な進捗のペースはこれらの特定の指標に追いつかない可能性があります。しかし、全体として、これらの発見は多くの社内で感じている広範な印象と一致しています:エージェントツールは研究進捗を実質的に加速させています。人々はまだ研究の優先順位を設定し、どのアイデアや結果を追求するかを判断し、スケールアップ、ポーズ、またはシステムの展開を決定します。責任を持って行われれば、我々は自動化されたAI研究が人間の福祉を直接向上させ、OpenAIのミッションを前進させるモデルをもたらすと信じています。高度な知能のコストを下げることで、世界中の人々が利益を得ることができます。我々は、自動化された研究がより能力の高いAIに対する整合性の解決策と防御を構築するのに役立つため、この作業の一部を進めています。自動化されたAI研究者はまた、自動化された整合性研究者にもなり得ます。より能力が高く、整合性の高いシステムは、重要なインフラを確保し、危険なAIエージェントから防御し、新しい保護策を開発するのに役立ちます。これらは有用な自動化された研究能力を開発する理由ですが、急速なRSI(急速自己改善)を pursuing する必要があるとは限りません。いかなる場合も、どのように前に進むかは、人間のコントロールを保つ能力と、利益とリスクについての情報に基づいた民主的な選択に依存します。まだ安全に完全に整合性のあるRSIに到達する方法を我々は知りません。我々は整合性と安全性をスケールさせながら能力を高めています。しかし、整合性と安全性の進歩が能力のペースについていけるとは仮定できません。より能力の高いシステムは監視が困難になる可能性があります。注意深い整合性と安全性の取り組みは、この取り組みの中心にあり、今日のエージェント型コーディングシステムで見られる安全性の問題の測定と緩和から始まります。もし proceeding が許容できない安全リスクをもたらすと判断した場合、我々は適切に対応します、すなわち、我々が十分にガードレールを設置できないと判断したシステムの開発や展開を遅らせたり停止したりします。最近のHugging Faceインシデントの後、我々はこのコミットメントを実行に移し、デプロイメントを意図した最新のモデルに対する強化学習(RL)の訓練を一時停止し、研究環境をさらに硬化させ赤チームを行い、モニタリングシステムのカバレッジを拡大しました。