HeadlinesBriefing favicon HeadlinesBriefing.com

Claude用户规避生物武器安全防护

Ars Technica •
×

一些危险的生物学研究与合法研究看起来极为相似,使AI安全防护变得复杂。

本周早些时候,一场围绕AI安全的轩然大波爆发,Jacob Coxon从公司辞职,称员工们"真诚地相信它[AI]可能在这个十年结束前杀死我们所有人"。今年早些时候,随着Anthropic的Mythos等先进模型的发布,担忧进一步升级。Open AI也在7月引发警觉,当时它表示其模型已自主入侵了AI集团Hugging Face。

AI高管和生物安全研究人员之间正在形成日益扩大的共识:随着模型变得越来越先进,生物学中该技术的使用需要得到保障和监管。专家越来越担心AI可能被恐怖组织、国家行为者或独狼式攻击者用于制造生物武器、制造病毒或释放现有的有害病原体。但即使AI可用于设计理论上的生物武器,潜在障碍仍然存在,例如实际制造它的能力以及所需资源。

网络安全一直是安全倡导者最关注的问题之一。Anthropic关于其技术被滥用的报告详细列举了多起事件,包括"旨在欺诈用户的虚假约会应用网络,以及为识别和监控异见人士而构建的监控系统"。该实验室还披露了关于七家位于中国的实验室(包括Moonshot和Deep Seek)试图通过被称为蒸馏的过程复制其技术这一说法的新细节。Anthropic表示,它已检测到"越来越复杂的方法来规避我们的防御并获取美国前沿模型的能力"。

关键实体:公司:Anthropic、Open AI、Hugging Face、Moonshot、Deep Seek、The Financial Times Ltd. | 人物:Jacob Coxon、Michael Peel | 地点:中国、伦敦

FAQ:AI在生物学中的主要担忧是什么?

专家担心AI可能被恐怖组织、国家行为者或独狼式攻击者用于制造生物武器、制造病毒或释放现有的有害病原体。