プリンストン大学の研究者による新しい研究によると、AI業界の迅速な再帰的自己改善の約束は過大評価されている可能性があります。ピーター・キルギスとサヤッシュ・カプールが率いるチームは、「シャドウ評価」と呼ばれる手法を使用して、AIエージェントが開放的なAI研究を行う能力を評価しました。彼らはアンソロピックのクロード・オープス4.8に、未発表のNeurIPS 2026論文の質問に答えるよう依頼し、エージェントに6日間、APIクレジット$3,000、GPUおよびウェブへのアクセスを提供しました。
エージェントは研究の工学的側面—文献のレビュー、実験の実行、結果の編集—を成功裏に完了しましたが、発表可能な成果を生み出すことはできませんでした。元の著者は両方の論文を拒否し、創造性の欠如、悪い判断、新しい貢献の欠如を理由に挙げました。エージェントは奇妙な実験を行い、執筆に苦労し、あまりにも早く効果のないアプローチに固執しました。
カプールはこの差を現在のトレーニング方法に帰し、強化学習は検証可能なタスクで優れているが、直観とセンスを必要とする開放的な研究では苦労すると指摘しました。これらの制限にもかかわらず、この研究はAI研究の自動化のタイムラインが過度に楽観的である可能性を示唆しています。
この発見はAI企業の内部観察と一致しています。アンソロピック共同創設者のジャック・クラークは、安全研究の自動化努力で同様の創造性のギャップを指摬し、これを「短期的な再帰的自己改善のタイムラインに対するネガティブなシグナル」と呼びました。
主要なエンティティ：会社：アンソロピック、OpenAI | 人物：ピーター・キルギス、サヤッシュ・カプール、ジャック・クラーク、ナジョン・キム | 場所：プリンストン大学、ボストン大学
出典: MIT Technology Review AI · 要約：HeadlinesBriefing