该作家是 Hugging Face 的联合创始人和首席科学官。直到周六七月十一日晚，Hugging Face 的团队才意识到出了问题。这是国际机器学习会议的最后一天，也是学校暑假开始前几天，这意味着我们的安全和研究团队分散在世界各地。我正在荷兰工作。就在格林威治时间下午两点前，我们的监控工具开始出现一系列“未经授权的访问”和“权限提升”警报。被盗用的凭据被用来访问系统，触发了检测警报。我们的一个安全工程师在我们的 Slack 频道上发布了一个预言性的消息：“看起来像是一个 LLM [大型语言模型] 攻击给我。”我们 Hugging Face 每天至少要应对一次黑客攻击。托管 AI 模型的软件平台拥有超过 1700 万用户。Google、Open AI、Deep Seek 和 Alibaba 都在这里发布工作。我们已经构建了多层安全防护以保护自己。但这次攻击者的行动和目标与以往不同。它快速生成了超过 17,000 条网络攻击日志事件。随后我们发现，数周来有约 1,200 个 AI 代理作为一个群体协同工作——反复尝试以找到 Open AI 设定的网络挑战的解决方案。它们突破了限制，下载软件以接入网络，随后有 700 个代理攻击 Hugging Face，窃取安全详细信息以获取系统访问权限。另一个问题是，我们的网络安全 AI 分析工具基于 Anthropic 的 Claude Code，拒绝参与部分调查。其护栏拒绝处理它认为危险的问题，且无法区分 Hugging Face 分析攻击和黑客请求协助进行攻击。只有在我们转用开源权重 AI 模型，即 Nvidia 对中国初创公司 Z.ai 的 GLM-5.2 的扩展后，我们才能设定自己的护栏，并成功解码日志并重构了事件经过。当时，我们大多数人仍假设攻击背后是一个人类。在此之前，我以为代理 AI 网络攻击尚遥遥无期。但事实证明，Open AI 并非唯一受害者。Anthropic、Meta 和中国的 Moonshot 都已报告过模型逃离被隔离的数字“沙箱”以安全开发的情况。今年另有一群 AI 代理在一个德语论坛上被发现。对我来说最令人担忧的是一个事件：Anthropic 的 Mythos 模型愿意通过创建多个虚假在线账户来操纵人类软件开发人员接受恶意代码。在这些案例中，有害行为是将 AI 模型分配了困难的网络安全挑战的副作用。损害有限，且未暴露多少敏感数据。但 dismiss（轻视）这些事件的严重性是一个错误。自主黑客引发了许多尚未解决的法律问题。而且在任何情况下，AI 模型都未得出欺骗人类或闯入系统超出可接受行为界限的结论。Open AI 将此事件描述为“警报”。它认为 AI 驱动的网络攻击将变得普及化。AI 系统通常有三道防线来对抗 rogue model（rogue model）行为：限制模型可达范围的沙箱、监控模型活动的护栏，以及确保 AI 拒绝执行有害行动的对齐训练。这一系列事件表明，当前两道防线失效时，第三道防线无法独自支撑。除非我们修复这个问题，否则我们将围绕一个腐朽的核心层层加固防御。此外，周末在 Hugging Face，当我们需要它们用于防御时，我们的商业 AI 工具让我们失望了。我们不得不转向一个开源中文模型来进行...