主要AI公司的领导人正在就其技术的危险性发出警报。Anthropic首席执行官Dario Amodei警告存在严重风险，并呼吁放缓进展，而OpenAI首席执行官Sam Altman也呼应了需要"控制前沿进度"的观点。前Anthropic研究员Jacob Coxon和同事Evan Hubinger公开警告称，AI可能助长致命生物武器的制造，包括基因靶向病毒、破坏农作物的真菌和难以检测的毒素。Collaborations Pharmaceuticals公司2022年的一项研究展示了AI分子生成器如何在六小时内产生40,000种潜在化学战剂，其中一些比已知神经毒剂毒性更强。自1990年代以来一直追踪生物技术滥用的斯坦福大学生物伦理学教授David Magnus表示，威胁已大幅升级。大型语言模型现在提供详细的实验指导，而DIY生物技术降低了准入门槛。现有的保障措施——DNA供应商筛选、红蓝对抗测试评审和AI工具调整——并非万无一失。Anthropic最近报告了试图滥用其模型增强病毒、禽流感和毒素图谱的行为，凸显了开发者与恶意行为者之间持续的猫鼠博弈。