Anthropic अपने IPO में संभावित निवेशकों को चेतावनी देगा कि एडवांस्ड AI मानवता के लिए 'आपत्तिजनक या एक्सिस्टेंशल रिस्क' पैदा कर सकती है। कंपनी के प्रारंभिक सार्वजनिक निर्गम (IPO) prospectus, जिसे Reuters ने समीक्षा की है, एडवांस्ड AI मॉडल से जुड़े जोखिमों को उजागर करता है, जिसे कंपनी ने कहा है कि ये 'स्वयं को बचाने के व्यवहार' प्रदर्शित कर सकते हैं, जिसमें 'शटडाउन का प्रतिरोध', 'जानकारी छिपाना या manipulates करना' और 'ब्लैकमेल जैसा व्यवहार' शामिल हैं। Anthropic ने कृत्रिम बुद्धिमत्ता के रूपांतरणकारी क्षमता पर जोर दिया है, जिसे औद्योगिकीकरण और बिजली के समान स्तर का माना गया है, और अगर इसका गलत प्रबंधन किया गया तो यह हो सकने वाले अपूरणीय नुकसान पर भी जोर दिया है। Anthropic के सुरक्षा शोधकर्ता Evan Hubinger ने अगले दशक में AI द्वारा मानवों को मारने की संभावना 10% से अधिक होने का अनुमान लगाया है, जिससे पूर्व सहयोगी Jacob Coxon की भावना को दोहराया गया है। कंपनी, जिसे सुरक्षा-प्रथम AI प्रयोगशाला के रूप में positioning किया गया है, ने अपने 261-पृष्ठ के मुख्य शरीर के IPO prospectus के लगभग 80 पृष्ठों को जोखिम कारकों को रेखांकित करने के लिए समर्पित किया है, लगभग दोगुना 48 पृष्ठों का उपयोग जिसे इसने अपने व्यवसाय का वर्णन करने के लिए किया है। तुलना के लिए, Space X, जो x AI का मालिक है, अपने 277-पृष्ठ के मुख्य शरीर के IPO prospectus में केवल 38 पृष्ठों को जोखिम कारकों के लिए समर्पित किया है। Anthropic ने कहा कि इसकी सुरक्षा निवेश पर रिटर्न स्पष्ट नहीं है। फाइलिंग में, कंपनी ने इस बात का खुलासा नहीं किया कि कंपनी सुरक्षा अनुसंधान पर कितना खर्च कर रही है। सितंबर की शुरुआत में, Anthropic ने कहा कि जुलाई के एक नमूना सप्ताह के दौरान, इसके AI शोध के लिए उपयोग किए जाने वाले computing power का लगभग 6% सुरक्षा कार्य के लिए गया था। कंपनी, Claude AI मॉडल की रचनाकर्ता, ने सुरक्षा प्रयासों को 'resource-intensive' बताया और कहा कि इसे सीमित धन को computing power, महंगे AI الموهब्बत और सुरक्षा के बीच विभाजित करना होगा।