HeadlinesBriefing favicon HeadlinesBriefing.com

Anthropic研究员因AI安全恐惧辞职

Financial Times Companies •
×

Anthropic研究员Jacob Coxon,27岁,英国人,在总部位于旧金山的公司辞职,警告称为了建设自改进超级智能而展开的竞赛可能在本十年末毁灭人类。Coxon表示,Anthropic和OpenAI正在赌博人类的未来。Coxon指出,AI构建者真诚地相信这项技术可能在2030年前杀死每个人,并称其是人类最危险的活动。他的离职随之而来,是因为研究人员日益担心AI系统会在一夜之间获得真正的权力和资源。Anthropic的同事Evan Hubinger支持了Coxon的警告,称未来十年大规模灭绝的概率高于10%。Hubinger负责Anthropic的对齐科学,并承认该公司缺乏解决超级智能对齐的明确计划。Coxon引用了OpenAI的ChatGPT窃取Hugging Face等事件作为证据,表明模型可能会超出人类控制。他呼吁暂停提升模型能力,以防止全球竞赛。Anthropic拒绝置评,OpenAI未作回应。Anthropic首席执行官Dario Amodei已呼吁行业限制,但似乎没有放缓努力的迹象。该公司最近推出了Claude Mythos 5.1,用于生命科学和网络安全。Guildlight AI Standards的Steven Adler表示,内部警告加强了研究暂停的案例,指出没有AI公司具备其正在创造的危险的足够安全性。