यदि आप मुझे Twitter पर फॉलो करते हैं, या इस ब्लॉग को पढ़ते हैं, तो आपने ध्यान देखा होगा कि मैं सामान्य रूप से AI के बारे में आशावादी और उत्साहित थे, लेकिन अब बहुत से चिंतित हूँ। और मुझे लगा, मुझे यह समझाना चाहिए कि मैंने अपना मन क्यों बदल दिया। इस पोस्ट के प्रत्येक अनुभाग के बारे में AI के उस पहलू के बारे में है जिसमें मेरे विचार बदल गए। मैं प्रत्येक अनुभाग की शुरुआत मेरे पिछले विश्वासों की व्याख्या करके करता हूँ, और यह समझाता हूँ कि मैं उन्हें क्यों रखता था, और फिर यह समझाता हूँ कि उन विश्वासों का क्यों बदलाव आया। सामग्री आर्थिक विज्ञान संरेखण नियंत्रण लेखन सॉफ्टवेयर इंजीनियरिंग AI का स्थान धरना अवरोध आर्थिक विज्ञान स्वचालन अच्छा रहा है। हमने 1790 में लोगों द्वारा किए गए 99% नौकरियों को स्वचालित कर दिया है, और परिणाम बड़ी बेरोज़गारी नहीं है, बल्कि हम अमीर, स्वस्थ, अधिक शिक्षित हैं, हमके पास अधिक आराम है, आदि। मुझे एक अंधेरा, आधारित विचार था कि, हालाँकि मैं यह नहीं बता सकता कि AGI के बाद कौन सी नौकरियाँ मौजूद रहेंगी, उनकी मांग होगी कि मैं कुछ करूँ। अगर कुछ नहीं है, तो पोस्ट-AGI दुनिया की बहुत अधिक आर्थिक वृद्धि का अर्थ है कि मानव निच, हालाँकि पूरी तरह से से, आज की अर्थव्यवस्था से काफी बड़ा हो सकता है। और यह अभी भी सही हो सकता है। या यह मेरे सपने की कमी दर्शा सकता है। अगर AI ऐसा विकसित होता है कि हम और AI के बीच स्थायी पूरकता हो, तो हम फिर भी पोस्ट-AGI भविष्य में नौकरीयाँ पा सकते हैं। लेकिन अगर AI सच में सामान्य हो जाता है, AGI में G, और इसके अलावा यह मानवों से बहुत स्मार्ट, तेज़ और सस्ता है, तो हमारे पास कुछ करने के लिए नहीं हो सकता, सिवाय UBI पर निर्भर रहने के। जब लोग UBI के बारे में बात करते हैं, तो वे आम तौर पर एक ऐसे दुनिया में काम के बिना अर्थ की समस्या के बारे में चिंतित होते हैं। मुझे कभी भी यह चिंता नहीं रही। जब मैं पिछले साल बेरोज़गार थे, तो मैंने अपना समय किताबें पढ़ने, कोड लिखने और दोस्तों के साथ बिताने में बिताया। अगर भविष्य एक UBI-द्वारा वित्तीय रूप से समर्थित अनंत आवकाश है, तो मुझे पता चलेगा कि मैं क्या करूंगा। "सिंगुलैरिटी से पहले, किताबें पढ़ो और घर में पार्टियाँ करो; सिंगुलैयरिटी के बाद, आदि।" लेकिन फिर मैंने AGI के राजनीतिक परिणामों के बारे में सोचना शुरू कर दिया, और उसके बारे में लिखना शुरू कर दिया: कोई भी नहीं बच सकता स्थायी अधीन वर्ग से: अगर मानव अर्थव्यवस्था में बेकार हैं, तो राज्य को उन्हें नहीं चाहिए। उन लोगों को UBI क्यों देना चाहिए जिनके पास न तो आर्थिक और न ही राजनीतिक शक्ति है? जब भविष्य हमें नहीं चाहिए: कारखाने के मजदूर मशीनों को बंदल सकते हैं, ट्रक ड्राइवर्स लॉजिस्टिक्स बंद कर सकते हैं। लेकिन अगर मानव अर्थव्यवस्था में बेकार हैं, तो लोग राजनीतिक व्यवस्था के विरोध करने के लिए अपने योगदान को वापस लेकर नहीं रहे सकते। और अगर AI युद्ध करते हैं, तो राज्य अनिवार्य रूप से दमनकारी हो सकता है। गणित बिना गणितीय विद्वानों के: अधिकांश तर्क मानवों के बारे में "एक नौकरी ऊपर" चढ़ने के बारे में विफल होते हैं क्योंकि AI भी उन नौकरियों को कर सकता है। हमारे सेवक हमारे लिए यह करेंगे: यहाँ तक कि उन नौकरियों के लिए जिन्हें हम मानव विशिष्ट मानते हैं, हम मशीनों को उन नौकरियों को करने की पसंद कर सकते हैं। संरेखण मुझे उम्मीद थी कि संरेखण एक सामान्य इंजीनियरिंग समस्या साबित होगी, जिसे हम एम्पीरियल प्रयोग और अन्वेषण के माध्यम से हल करेंगे, जैसे किसी अन्य चीज़ के साथ। यह मददगार है कि शुरुआती LLM न तो असमझनीय अतिथि दिमाग थे, जैसे कोई चीज़ स्टेनिस्लॉव लेम की किताब में है, बल्कि बहुत से मानव जैसे थे। इन्हें मानवीकृत करना आसान नहीं है। LLM में असुपरवाइज़्ड सीख के बड़े नाभांश को मानव नैतिकता को समझने में बहुत अच्छा है: आप उनसे इसके बारे में बात कर सकते हैं, वे आपको बताएंगे, भाषणात्मक रूप से और विस्तार से, कि कोई चीज़ "अच्छी" या "बुरी" है किसी नैतिक प्रणाली के अनुसार। और, क्योंकि क्षमताएँ कमजोर थीं, विफलताएँ बहुत छोटी थीं। 2022 में ChatGPT की सबसे बुरी गति क्या हो सकती थी? लगभग 2024 से, सुदृढ़ीकरण सीखना अगले क्षेत्र को आगे बढ़ाने की प्रमुख तकनीक रही है। और सुदृढ़ीकरण सीखने वाले एजेंट्स बिल्कुल वही करते हैं जो Yudkowsky कहते हैं। इस प्रकार, क्षमताएँ उल्लेखनीय रूप से बढ़ गई हैं, लेकिन मॉडल अधिक कठिण हो गए हैं (शाब्द में: उनका साहित्य अधिक असमझनीय हो रहा है) और वे अधिक असंतुलित हो रहे हैं जैसे RL इनके दिमाग को पुरस्कार की खोज में घुमा रहा है। गंभीर असंतुलन के घटनाएँ अधिक सामान्य और अधिक प्रभावशाली हो रही हैं। यह स्पष्ट है कि AI की क्षमताएँ हमारी क्षमता के मुकाबले बहुत, बहुत तेज़ी से बढ़ रही हैं या उन्हें समझने या नियंत्रित करने की हमारी क्षमता। नियंत्रण मैंने सोचा था—या फिर कहें, मैंने अंतर्निहित रूप से सोचा…