प्रमुख AI कंपनियों के नेता अपनी तकनीक के खतरों के बारे में अलार्म बजा रहे हैं। Anthropic के CEO Dario Amodei ने गंभीर जोखिमों की चेतावनी दी और धीमी प्रगति का आह्वान किया, जबकि OpenAI के CEO Sam Altman ने "सीमांत को गति देने" की आवश्यकता को दोहराया। Anthropic के पूर्व शोधकर्ता Jacob Coxon और सहकर्मी Evan Hubinger ने सार्वजनिक रूप से चेतावनी दी कि AI घातक जैविक हथियारों के निर्माण को सक्षम कर सकता है, जिसमें जीन-लक्षित वायरस, फसल-नष्ट करने वाले कवक, और अप्रत्याशित विषाक्त पदार्थ शामिल हैं। Collaborations Pharmaceuticals के 2022 के एक अध्ययन ने दिखाया कि कैसे एक AI अणु जनरेटर ने छह घंटे से कम समय में 40,000 संभावित रासायनिक युद्ध एजेंटों का उत्पादन किया, जिनमें से कुछ ज्ञात तंत्रिका एजेंटों से अधिक विषैले थे। स्टैनफोर्ड के जैव नैतिकता प्रोफेसर David Magnus, जो 1990 के दशक से जैव प्रौद्योगिकी के दुरुपयोग को ट्रैक कर रहे हैं, कहते हैं कि खतरा नाटकीय रूप से बढ़ गया है। बड़े भाषा मॉडल अब विस्तृत प्रयोगात्मक मार्गदर्शन प्रदान करते हैं, और DIY जैव प्रौद्योगिकी ने प्रवेश बाधाओं को कम कर दिया है। मौजूदा सुरक्षा उपाय — DNA आपूर्तिकर्ता स्क्रीनिंग, रेड- और ब्लू-टीमिंग समीक्षा, और AI टूल संशोधन — फुलप्रूफ नहीं हैं। Anthropic ने हाल ही में अपने मॉडलों को वायरस, बर्ड फ्लू, और विष एटलस को बढ़ाने के लिए दुरुपयोग करने के प्रयासों की सूचना दी, जो डेवलपर्स और दुर्भावनापूर्ण अभिनेताओं के बीच चल रही बिल्ली-और-चूहे के खेल को उजागर करती है।