普林斯顿大学研究人员的一项新研究称，AI行业对快速递归自我改进的承诺可能言过其实。由彼得·基尔吉斯和萨亚什·卡普尔领导的团队评估了AI代理进行开放式AI研究的能力，使用一种称为“影子评估”的方法。他们让安索罗普的克劳德·奥波斯4.8回答未发表的NeurIPS 2026论文中的问题，为代理提供六天时间、3000美元的API信用额度以及GPU和网络访问权限。
虽然代理成功完成了研究的工程方面工作——包括文献回顾、实验运行和结果编译——但未能产生可发表的作品。原作者拒绝了两篇论文，认为缺乏创意、判断力差和没有新的贡献。代理进行了奇怪的实验，写作时遇到困难，并过快地提交了不 promising的方法。
卡普尔将这一差距归因于当前的训练方法，指出强化学习在可检查任务上表现出色，但在需要直觉和品味的开放式研究中则显得力不从心。尽管存在这些限制，该研究表明自动化AI研究的预期时间表可能过于乐观。
这些发现与AI公司的内部观察相符。安索罗普联合创始人杰克·克拉克也指出他们在安全研究自动化工作中遇到了类似的创造力差距，并称之为“对短期递归自我改进时间表的悲观信号”。
关键实体：公司：安索罗普、OpenAI | 人物：彼得·基尔吉斯、萨亚什·卡普尔、杰克·克拉克、纳乔恩·金 | 地点：普林斯顿大学、波士顿大学
来源: MIT Technology Review AI · 由HeadlinesBriefing整理摘要