编辑：我希望这篇文章能以某种微小的方式影响这一结果。动机：也许你是一个Claude code/codex用户，勤勉地避免将个人数据上传到LLM提供商。有没有可能最有价值的信息不是你的数据——而是关于你会话的元数据？你在想方设法诱导AI解决问题时所运用的直觉，可能实际上是特别的。从统计上看这不太可能，但Claude可能并没有在对你进行煤气灯操纵。也许你确实有了一个真正的洞见！你的代理会话是你所处理的最困难问题的记录。如果有人拥有这些记录的副本，你会付出什么代价？

上周有公开的戏剧性事件，揭示了推理提供商正在以提供新发现为目的，利用用户活动进行训练的风险。受影响的数学家们已经发表了关于前沿提供商伦理问题的担忧。如果你错过了：https://www.theverge.com/ai-artificial-intelligence/991710/openai-navier-stokes-solution

当“EDR”变成伦理推诿与拒绝：已经很明显，前沿提供商不仅不可信——而且积极地进行欺骗。如果你想保护你的想法，你就不能在别人的硬件上运行推理。看起来情况是，你与前沿提供商所做的一切都会被窃取。当前沿提供商与他们的律师讨论纳维-斯托克斯方程的情况时，他们想出的最佳防御策略是“不能排除这种可能性”。我们无法审计他们的保留策略或训练管道。显然他们也不能。这些人不应被视为合作伙伴。他们是海盗。如果隐私重要，唯一能实现可验证保护的解决方案就是运行你自己的硬件。

作为服务的走廊监督员：我对Open AI和Anthropic在网络安全上的哗众取宠感到困惑。他们惊叹于自己所造成的后果：AI击败了他们不存在的安全控制。我们都处于巨大的“危险”之中。与此同时，他们的LLM“研究人员”正在运行看似“自发协作”的未沙箱化代理集群。快给我拿把昏厥椅来。前沿提供商有能力聘请经验丰富的安全人员提供建议。他们几乎肯定在付钱给其中一些人以获取观点，同时却将真正的网络安全指导排除在他们的公开声明之外。所有这些大惊小怪必定是为了解决一个不同于安全的问题。防御者能就安全做出的最强且最准确的声明是，我们已经找到了让攻击者“相当困难”的方法。这似乎只有在公司在漏洞缓解和漏洞开发两方面都支付顶级薪酬聘请最优秀人才时才会出现。防御团队和利用团队之间存在激烈但友好的竞争，最终你会得到使成功攻击变得如此昂贵以至于不值得做的控制措施。这是针对国内顶级公司的——尽管Microsoft似乎已经忘记了一些教训。为大多数企业进行的大部分渗透测试是由安全通才执行的。只有很小一部分是深度领域主题专家。通常你能从这种支持中获得“足够好”的安全性。这不是你在电影或电视中看到的那种光鲜或神话般的网络安全实践。它是寻找已知类别的可预测错误。那些用专职专家团队进行大笔/明智投资的公司，会在黑客之前发现并纠正许多新类别的错误。每个开始学习漏洞利用的人，在专注、有练习的学习大约3个月后，都会经历一个可利用性悲伤的阶段。他们黑进了自己认为没有技能闯入的东西，这让他们感到恐惧。他们足够聪明，知道相对而言自己是个白痴，如果一个白痴能做到这一点，那么没有什么安全。那种感觉是正确的。它也不是一项研究发现。有些人称之为“冒名顶替综合征”。我不同意——那种感觉是你第一次体验开发……