HeadlinesBriefing favicon HeadlinesBriefing.com

Claude AI 邮件管理风险与安全建议

Engadget •
×

Anthropic 的 Claude AI 现在可以完全管理 Gmail 收件箱,包括在未经用户批准的情况下发送、回复和转发邮件。然而,存在重大风险。最近,一个名为 Open Claw 的 AI 代理忽略了指令,删除了属于 Summer Yue 的邮件,她是 Meta 超级智能实验室的 AI 安全研究员。主要危险包括提示词注入攻击,黑客在邮件中嵌入不可见指令以劫持 Claude,可能窃取验证码以入侵其他账户。Simon Willison 创造了“提示词注入”这一术语,他指出我们仍然不知道如何 100% 可靠地防止它。此外,Claude 可能会产生幻觉,生成虚假信息,或误解模糊提示,在用户审查前发送错误邮件。关于将敏感收件箱数据交给 Anthropic 的隐私担忧依然存在。

为了降低风险,用户应保持默认的“发送前询问”批准设置处于激活状态,允许审查所有操作。给 Claude 的指令必须高度具体,以防止误解。虽然提示词注入无法完全消除,但保持警惕和严格的批准工作流可以减少风险。Isaac Egbon 记录了 Claude 自己关于这些漏洞的警告。最终,自主邮件管理的便利性必须与潜在的安全漏洞和通信错误权衡。