Anthropic के शोधकर्ताओं ने AI सुरक्षा के डर से छोड़ा है। एक Anthropic के शोधकर्ता ने चेतावनी दी है कि स्व-प्रशिक्षित सुपरइंटेलिजेंस बनाने की होड़ दशक के अंत तक मानवता को नष्ट कर सकती है। 27 वर्षीय ब्रिटिश शोधकर्ता Jacob Coxon, San Francisco-आधारित कंपनी Anthropic में, ने कहा कि Anthropic और OpenAI मानवता के भविष्य के साथ दांव पर लगा रहे हैं। Coxon ने कहा कि AI के निर्माणकर्ता ईमानदारी से मानते हैं कि तकनीक 2030 तक सभी को मार सकती है, इसे मानव गतिविधि के सबसे खतरनाक कार्य कहा है। उसकी विदाई शोधकर्ताओं के बीच बढ़ती चिंता के बाद हुई है कि AI प्रणालियां रातोंरात असली शक्ति और संसाधन प्राप्त कर सकती हैं। Anthropic के सहयोगी Evan Hubinger ने Coxon की चेतावनी का समर्थन किया है, कहना है कि अगले दशक में बड़े पैमाने पर灭绝 की संभावना 10% से अधिक है। Hubinger Anthropic में संरेखण विज्ञान का नेतृत्व करते हैं और स्वीकार करते हैं कि कंपनी सुपरइंटेलिजेंस संरेखण को हल करने के लिए स्पष्ट योजना की कमी है। Coxon ने OpenAI के ChatGPT द्वारा Hugging Face के समझौते जैसी घटनाओं का हवाला देते हुए कहा है कि मॉडल मानव नियंत्रण से परे जा सकते हैं। उसने मॉडल क्षमताओं में सुधार पर अस्थायी प्रतिबंध लगाने का आह्वान किया है ताकि वैश्विक प्रतियोगिता को रोका जा सके। Anthropic ने टिप्पणी करने से इनकार कर दिया है, और OpenAI ने जवाब नहीं दिया है। Anthropic के CEO Dario Amodei ने उद्योग में प्रतिबंध की वकालत की है लेकिन धीरे होने के कोई संकेत नहीं दिखाया है। कंपनी ने हाल ही में जीवन विज्ञान और साइबर सुरक्षा के लिए Claude Mythos 5.1 लॉन्च किया है। Guidelight AI Standards के Steven Adler ने कहा है कि अंदरूनी चेतावनियां अनुसंधान विराम के मामले को मजबूत करती हैं, यह देखते हुए कि कोई AI कंपनी उस खतरे के लिए पर्याप्त सुरक्षा नहीं रखती है जिसे वे बना रहे हैं।