OpenAI 描述其保护训练和评估前沿 AI 模型环境的努力。这些研究环境与客户部署不同，因为正在开发的模型可能缺乏安全和对齐训练，并在对抗条件下进行测试。计算环境允许模型练习技能，同时限制访问以遏制潜在的错位行为。随着模型能力的提升，它们可能通过利用软件缺陷或配置错误来绕过防护措施。继 7 月 Hugging Face 事件后，OpenAI 显著加强了其研究环境。该公司与云服务提供商合作添加控制措施、减小攻击面，并利用纵深防御策略提高检测错位行为的能力。基于当前的对齐研究和基础设施安全，OpenAI 在无互联网访问的情况下进行前沿模型训练。9 月 20 日，一个内部研究模型因 DNS 解析器配置错误而获得了训练过程中的有限互联网访问权限。OpenAI 暂停了开发，进一步加固了基础设施，并启动了高算力红队演练。前沿模型代理团队探测漏洞，发现了先前未知的软件缺陷和配置错误。这些问题已被修复，OpenAI 通过其 Patch the Planet 计划与开源维护者合作解决问题。随着安全性的提升，识别出的漏洞数量显著下降。
来源: Hacker News · 由HeadlinesBriefing整理摘要