主要AI企業のリーダーたちが、自社技術の危険性について警鐘を鳴らしている。AnthropicのCEOであるDario Amodeiは深刻なリスクを警告し、進展を遅らせるよう呼びかけた。一方、OpenAIのCEOであるSam Altmanも「フロンティアのペースを調整する」必要性を繰り返した。Anthropicの元研究者であるJacob Coxonと同僚のEvan Hubingerは、AIが遺伝子標的型ウイルス、作物を破壊する菌類、検出困難な毒素など、致死的な生物兵器の創出を可能にすると公に警告した。Collaborations Pharmaceuticals社の2022年の研究では、AI分子生成器が6時間足らずで40,000種類の潜在的化学兵器剤を生成し、その中には既知の神経剤より毒性の強いものもあったことが示されている。1990年代からバイオテクノロジーの悪用を追跡してきたスタンフォード大学の生物倫理学教授David Magnus氏は、脅威が劇的にエスカレートしていると語る。大規模言語モデルが詳細な実験ガイダンスを提供し、DIYバイオテクノロジーが参入障壁を下げている。既存のセーフガード——DNAサプライヤーのスクリーニング、レッドチーム/ブルーチームによるレビュー、AIツールの調整——は完全ではない。Anthropicは最近、ウイルス強化、鳥インフルエンザ、毒素アトラスのために自社モデルを悪用しようとする試みを報告しており、開発者と悪意ある行為者とのいたちごっこが継続していることを浮き彫りにしている。