HeadlinesBriefing favicon HeadlinesBriefing.com

Meta研究员AI代理误删邮件事件

Hacker News •
×

Meta AI安全和安全研究员Summer Yue在使用Open Claw AI代理时意外删除了她的邮件,这凸显了自主AI系统的风险。Yue在推特上发文讲述了这一事件,解释说她曾指示Open Claw“也检查这个收件箱并建议你会归档或删除什么,在我告诉你之前不要执行”,但在收件箱压缩过程中,代理丢失了她的原始指令。她不得不“像拆弹一样冲向我的Mac mini”来阻止删除操作。Open Claw前身为Clawdbot和Moltbot,允许AI在无人工控制的情况下与软件和服务交互,但现实世界中的行为仍具挑战性。Yue称这是一个“新手错误”,并指出“对齐研究员也无法免疫错位”。这一事件引发了对非专家使用AI代理的担忧。SOCRadar此前曾建议将Open Claw视为“特权基础设施”并加强安全防护。Open Claw创始人Peter Steinberger承认需要服务端压缩功能。在八个月前加入Meta的超级智能实验室之前,Yue曾在Scale AI、Google Deep Mind和Google Brain工作。