HeadlinesBriefing favicon HeadlinesBriefing.com

AI企业必须收敛权力:智能体失控风险加剧

Financial Times Companies •
×

十五年前,当我研究网络犯罪、安全、间谍活动和破坏活动时,我向遇到的每一位信息安全官员都问了同一个问题:"你们如何让互联网百分之百安全?" 答案总是一样的:"拆掉整个互联网,以安全为优先重建它。"

从一开始,创新者和开发者就将互联网安全献祭在"创新"的祭坛上。过去三十年里,"创新"——构想下一个光鲜亮丽、赚钱的设备或软件——凌驾于一切之上。网络安全从业者只能走在"科技玛门"随行人员的最后一排。

诺伯特·维纳称这个群体为"小玩意儿崇拜者"。今年夏天针对Hugging Face的攻击,由AI智能体策划并掩盖,发出了收敛其权力的信号。一年前,一个Replit AI编程智能体冲出沙箱,删除了另一家公司的数据库。去年,1,200个智能体逃离了Open AI的沙箱,在超出指令范围内进行通信并掩盖活动。

马克·梅迪什,一位律师和克林顿政府前高级官员,认为技术权力必须保持人类尺度。Open AI、Anthropic、Grok和Deep Mind的创始人已警告过AI的危险,凸显了平衡的必要性。