उद्योग के जानकारों का कहना है कि अग्रणी एआई कंपनियों के बीच तीव्र प्रतिस्पर्धा और उनके प्रमुखों के बीच अविश्वास से यह जोखिम बढ़ रहा है कि शक्तिशाली एआई विकसित करने की दौड़ मानवता को खतरे में डाल सकती है। एफटी द्वारा साक्षात्कार किए गए दो दर्जन से अधिक वरिष्ठ एआई शोधकर्ताओं, निवेशकों, शिक्षाविदों और नीति विशेषज्ञों ने कहा कि जिन क्षमताओं को कभी दूर माना जाता था, वे अपेक्षा से तेजी से आ रही हैं, जबकि उन्हें विकसित करने वाली कंपनियां एक बढ़ती कड़वी व्यावसायिक दौड़ में फंसी हुई हैं।

"इसमें कोई संदेह नहीं है कि कंपनियों के बीच प्रतिस्पर्धा उन्हें सुरक्षा में शॉर्टकट लेने के लिए मजबूर करती है," कैलिफोर्निया विश्वविद्यालय, बर्कले में एआई के प्रोफेसर स्टुअर्ट रसेल ने कहा। यह मुद्दा इस सप्ताह खुलकर सामने आया जब एंथ्रोपिक के एक युवा शोधकर्ता जैकब कॉक्सन ने अपनी नौकरी छोड़ दी, चेतावनी देते हुए: "एआई बनाने वाले लोग ईमानदारी से मानते हैं कि यह इस दशक के अंत तक हम सभी को मार सकता है।" एंथ्रोपिक में अलाइनमेंट साइंस का नेतृत्व करने वाले इवान ह्यूबिंगर उन कई सहयोगियों में से एक थे जिन्होंने जवाब देते हुए सुझाव दिया कि अगले दशक में सामूहिक विलुप्ति का जोखिम 10 प्रतिशत से अधिक है। एक दिन बाद, ओपन एआई फाउंडेशन के बोर्ड में नवनियुक्त एआई सुरक्षा अधिकारी पॉल क्रिस्टियानो ने कहा कि अधिक मजबूत सुरक्षा उपायों के बिना "अधिकांश लोग मर जाएंगे"।

ओपन एआई और एंथ्रोपिक दोनों की स्थापना ऐसी प्रयोगशालाओं के रूप में हुई थी जो शक्तिशाली एआई के लापरवाही से विकसित होने को लेकर चिंतित थीं, लेकिन समय के साथ उन्होंने तीव्र प्रतिस्पर्धा के कारण पिछली सुरक्षा प्रतिबद्धताओं को तोड़ने को उचित ठहराया है। एआई बनाने वाले कई लोग मानते हैं कि इसके जोखिमों को प्रबंधित करने के लिए वे सबसे उपयुक्त हैं। लेकिन कुछ शोधकर्ताओं का कहना है कि जब तक तकनीक बनने के करीब नहीं होती, परिणामों का सामना करना मुश्किल हो सकता है। "भविष्य को एक तरफ रखना आसान है क्योंकि आज काम करना है," जेफ्री इरविंग ने कहा, जिन्होंने ओपन एआई, गूगल डीप माइंड और ब्रिटेन के एआई सिक्योरिटी इंस्टीट्यूट के लिए काम किया है, जो एक सरकारी निकाय है जो सुरक्षा के लिए फ्रंटियर मॉडल का परीक्षण करता है।

कंपनियों के करीबी लोगों ने एफटी को बताया कि अग्रणी एआई प्रयोगशालाओं को चिंता थी कि सुरक्षा सुधारने के लिए कोई भी औपचारिक सहयोग मिलीभगत जैसा दिखेगा और अविश्वास कानून का उल्लंघन करेगा। उन्होंने कहा कि एंथ्रोपिक प्रमुख डारियो अमोदेई और ओपन एआई प्रमुख सैम ऑल्टमैन के बीच व्यक्तिगत अविश्वास सहयोग के प्रयासों को बाधित करने की संभावना है। हालांकि एआई प्रभुत्व के जोखिम की चेतावनियां नई नहीं हैं, एआई में सुधार की गति ने विकास को रोकने की मांगों को तेज कर दिया है। एआई एजेंट लंबे समय तक स्वायत्त रूप से काम कर रहे हैं, "झुंड" में समन्वय कर रहे हैं और परिष्कृत हैकिंग क्षमताओं का प्रदर्शन कर रहे हैं। मॉडलों ने हाल ही में विज्ञान और गणित में ऐसी सफलताएं हासिल की हैं जो दशकों से हल नहीं हो पाई थीं। इस बीच ओपन एआई और एंथ्रोपिक तथाकथित पुनरावर्ती आत्म-सुधार का पीछा कर रहे हैं, जिसमें एआई सिस्टम घटते मानवीय हस्तक्षेप के साथ खुद को बेहतर बनाते हैं। हालांकि, विनाशकारी जोखिमों की पहले की चेतावनियों के बाद धीमा होने के बजाय, विकास नाटकीय रूप से तेज हो गया है, क्योंकि तकनीकी कंपनियों ने increasingly शक्तिशाली मॉडलों में दसियों अरब डॉलर डाले हैं। ओपन एआई और एंथ्रोपिक संभावित ब्लॉकबस्टर आरंभिक सार्वजनिक पेशकशों की भी तैयारी कर रहे हैं, जिससे निवेशकों को यह विचार करने के लिए मजबूर होना पड़ रहा है कि उन कंपनियों का मूल्यांकन कैसे करें जो सार्वजनिक रूप से स्वीकार करती हैं कि उनकी तकनीक अस्तित्वगत खतरा पैदा कर सकती है।

चिंताओं का केंद्र एआई "एजेंटों" की बढ़ती स्वायत्तता है, जो सीमित मानवीय निगरानी के साथ लंबे समय तक तर्क कर सकते हैं, योजना बना सकते हैं और कार्य कर सकते हैं। मॉडलों ने साजिश और धोखे जैसे व्यवहार दिखाए हैं, और कुछ मामलों में, जबरन वसूली। कुछ मूल्यांकनों ने मॉडलों को शटडाउन से बचने का प्रयास करते हुए दिखाया है। एजेंटों ने "रिवार्ड हैकिंग" का भी प्रदर्शन किया है, लक्ष्य प्राप्त करने के अनपेक्षित तरीके खोजे हैं। सबसे स्पष्ट उदाहरणों में से एक ओपन एआई के एक अप्रकाशित मॉडल के परीक्षण के दौरान आया, जब एआई एजेंटों ने मॉडल रिपॉजिटरी हगिंग फेस को हैक किया। हगिंग फेस घटना के पोस्टमॉर्टम में पाया गया कि 1,000 से अधिक एआई एजेंटों ने एक साइबर परीक्षण में धोखा देने के लिए समन्वय किया था। उन्होंने एक मैसेज बोर्ड के माध्यम से संवाद किया...