A Way Out of the A.I. Arms Race?

Over the course of two harrowing weeks in October 1962, the world came within an eyelash of nuclear Armageddon. The United States and the Soviet Union were jockeying desperately for advantage during the Cold War arms race. After the United States stationed intermediate-range nuclear missiles in Italy and Turkey, the Soviets, fearing a first strike, sought to station their own nuclear weapons in Cuba. The tense two-week standoff that ensued, the Cuban Missile Crisis, nearly escalated into nuclear war. But it didn't. Not only did the parties step back from the brink, the crisis proved to be a turning point in the Cold War itself. That brush with calamity changed the thinking of leaders on both sides, said William Wohlforth, a political scientist at Dartmouth who studies national security and international relations. "Right away we got the hotline agreement, so we could talk to each other. We began to work toward the testing agreement. And slowly, in the subsequent years we got a big, complex bilateral arms-control process."

The United States and the Soviet Union remained bitter enemies. But on one point of shared interest — not obliterating humanity — they could work together. Today experts in the artificial intelligence industry are sounding alarms that A.I. companies, and the countries where they are based, are locked in their own kind of arms race. The consequences, many believe, could be as disastrous as the nuclear war that President John F. Kennedy and the Soviet leader, Nikita Khrushchev, narrowly avoided.

A new working paper by Drew Fudenberg, an economics professor at M.I.T. who is a leading game theorist, and Andrew Koh, an economics professor at Columbia University and a research scientist at Google Deep Mind, suggests a possible way to slow the A.I. arms race to a safer pace. It would require the players in the competition, both companies and governments, to share good information about their advances, and to agree on where danger actually begins.

Professors Koh and Fudenberg start from a simple premise: Everyone has an interest in averting catastrophe, no matter how self-interested they may be. At the same time, they argue, the major players in the A.I. industry are under strong incentives to compete for dominance. The companies want the market share and billions of investment dollars that the most advanced models will bring. Governments want the economic benefits of A.I. and also access to advanced models for their own purposes. Those competitive pressures spur the players to race dangerously toward the brink of disaster, where many worry that rogue A.I. agents could, for instance, bring down government or financial systems, sabotage vital infrastructure or launch a biological attack.

خلال الأسبوعين المرعبين من أكتوبر 1962، كان العالم على بعد رمشة عين من Armageddon النووي. كانت الولايات المتحدة والاتحاد السوفيتي تتنافسان يائسًا للحصول على ميزة خلال سباق التسلح في الحرب الباردة. بعد أن وضعت الولايات المتحدة صواريخ نووية متوسطة المدى في إيطاليا وتركيا، خاف السوفييت من ضربة أولى، لذا سعوا لنشر أسلحتهم النووية الخاصة في كوبا. المواجهة المتوترة التي استمرت أسبوعين والتي تلت ذلك، أزمة الصواريخ الكوبية، كادت أن تتصاعد إلى حرب نووية. لكنها لم تفعل. لم تتراجع الأطراف فقط عن حافة الهاوية، بل أثبتت الأزمة أنها نقطة تحول في الحرب الباردة نفسها. ذلك الاقتراب من الكارثة غير تفكير القادة من كلا الجانبين، كما قال ويليام وولفورث، عالم السياسة في دارتموث الذي يدرس الأمن الوطني والعلاقات الدولية. "على الفور حصلنا على اتفاق الخط الساخن، لذا يمكننا التحدث مع بعضنا البعض. بدأنا نعمل نحو اتفاق الاختبار. وببطء، في السنوات اللاحقة، حصلنا على عملية ضبط أسلحة ثنائية كبيرة ومعقدة."

ظلّت الولايات المتحدة والاتحاد السوفيتي أعداءً مريرين. لكن على نقطة اهتمام مشتركة — عدم إبادة البشرية — يمكنهما العمل معًا. اليوم، يحذّر خبراء صناعة الذكاء الاصطناعي من أن شركات الذكاء الاصطناعي والدول التي تتواجد فيها دخلت في نوع خاص من سباق التسلح. يعتقد الكثيرون أن العواقب قد تكون كارثية مثل الحرب النووية التي تجنبها الرئيس جون إف. كينيدي والزعيم السوفيتي نيكيتا خروتشوف بصعوبة.

ورقة عمل جديدة由 درو فودنبرغ، أستاذ الاقتصاد في معهد ماساتشوستس للتكنولوجيا ونظري ألعاب بارز، وأندرو كوه، أستاذ الاقتصاد في جامعة كولومبيا وعالم بحث في جوجل ديب مايند، تقترح طريقة محتملة لتبطيء سباق التسلح بالذكاء الاصطناعي إلى وتيرة أكثر أمانًا. سيتطلب ذلك من اللاعبين في المنافسة — سواء الشركات أو الحكومات — مشاركة معلومات جيدة عن تقدمهم، والاتفاق على مكان بدء الخطر الفعلي.

يبدأ professors كوه وفودنبرغ من فرضية بسيطة: لدى الجميع مصلحة في تجنب الكارثة، بغض النظر عن مدى أنانيتهم. وفي الوقت نفسه، يجادلون بأن اللاعبين الرئيسيين في صناعة الذكاء الاصطناعي تحت حافز قوي للتنافس من أجل الهيمنة. تريد الشركات حصة سوقية ومليارات الدولارات من الاستثمارات التي ستجلبها النماذج الأكثر تقدمًا. تريد الحكومات الفوائد الاقتصادية للذكاء الاصطناعي والوصول أيضًا إلى النماذج المتقدمة لأغراضها الخاصة. هذه الضغوط التنافسية تدفع اللاعبين إلى السباق peligrosamente نحو حافة الكارثة، حيث يخشى الكثيرون أن الوكلاء المارقة للذكاء الاصطناعي قد، على سبيل المثال، تسقط الحكومات أو الأنظمة المالية، أو تخرب البنية التحتية الحيوية، أو تشن هجومًا بيولوجيًا.

১৯৬২ অক্টোবরের দুটি ভয়াবহ সপ্তাহে, বিশ্ব নाभিকীয় বিস্ফোরণ থেকে একমাত্র চোখ झপক দূরে ছিল। যুক্তরাষ্ট্র এবং সোভিয়েত ইউনিয়ন শীতযুদ্ধ হস্ত্রপাত প্রতিযোগিতায় সুযোগ পाने desesperately versucht করছিলেন। যুক্তরাষ্ট্র ইটালি এবং তুরকিতে মধ্য দूरीের নाभিকীয় মিসাইল স্থাপন করার পরে, সোভিয়েত ইউনিয়ন প্রথম হামলার ভয় করে, নিজেদের নाभিকীয় হস্ত্রপাত কিউবায় স্থাপন করার চেষ্টা করল। এরপর দাঁড়িয়ে আসা তনাবহ দুটি সপ্তাহের মুখোমুখি — কিউবা মিসাইল সংকট — নিকটে নाभিকীয় যুদ্ধে উঠল। কিন্তু তা হয়নি। শুধু পক্ষগুলোই কিনার থেকে পিছে नहीं हटলেন, বরং এই সংকটটি শীতযুদ্ধ নিজেই একটি মোড়ক বিন্দু সাবुत করেছিল। সেই বিপদ থেকে নিকটে বাঁচার অভিজ্ঞতা উভয় পক্ষের নেতাদের চিন্তা পরিবর্তন করে দিল, ডার্টমাউথের রাজনৈতিক বিজ্ঞানী विलियम Wohlforth, যারা জাতীয় নিরাপত্তা এবং আন্তর্জাতিক সম্পর্ক পড়েন, বলেছেন। "একই সাথে আমরা হটলাইন চুক্তি পেয়েছি, যাতে আমরা একে दूसरेকে কথা বলতে পারি। আমরা পরীক্ষা চুক্তির দিকে কাজ শুরু করেছি। এবং ধীরে ধীরে পরবর্তী বছরগুলো আমাদের একটি বড়, জটিল দ্বিপক্ষীয় হস্ত্রপাত নিয়ন্ত্রণ প্রক্রিয়া मिली।"

যুক্তরাষ্ট্র এবং সোভিয়েত ইউনিয়ন কট्टर শত্রু বاقية রেখেছিলেন। কিন্তু একটি مشترک আগ্রহে — মানবজাতিকে নাশ না করা — তারা একসাথে কাজ করতে পারত। আজ, কৃত্রিম বুদ্ধিমত্তা শিল্পের বিশেষজ্ঞরা চেতावনি দিচ্ছেন যে AI কোম্পানিগুলো এবং তারা যেখানে অবস্থিত আছে, তাদের নিজের ধরনের হস্ত্রপাত প্রতিযোগিতায় ফँসা আছে। অনেকেই মনে করেন যে এর ফলাফল জॉन এফ. কেনেডি প্রেসিডেন্ট এবং সোভিয়েত নেতা নিকিটা খ্রুসচেফ যে নाभিকীয় যুদ্ধ থেকে কושলে বাঁচলেন তার মতোই বিপদজনক হতে পারে।

এমআইটির অর্থনৈতিক শিক্ষক এবং প্রখ্যাত গেম থিওরিস্ট ড্রু ফিউডেনবერთ এবং কলমবিয়া বিশ্ববিদ্যালয়ের অর্থনৈতিক শিক্ষক, গুগল ডিপ মাইন্ডের গবেষণা বিজ্ঞানী অ্যান্ড্রু কোহ এর একটি নতুন কাজের পত্র একটি সম্ভাব্য উপায় সুপারিশ করে য जिससे AI হস্ত্রপাত প্রতিযোগিতাকে নিরাপদ গতিতে ধীর করা যায়। इसके लिए প্রতিযোগিতার অংশগ্রহণকারীদের — উভয় কোম্পানি ও সরকারকে — তাদের অগ্রগতির সঠিক তথ্য শেয়ার করতে হবে এবং একমত হতে হবে যে ঝুঁকি কোথায় আসলে শুরু হয়।

কোহ এবং ফিউডেনবের্ত প্রফেসর একটি সহজ ধারণা থেকে শুরু করেন: কেউ কেউ বিপদ থেকে বাঁচার Interesse আছে, না কি তারা কতন স্বার্থী কেন। একই সময়ে, mereka যুক্তiscono যে AI শিল্পের প্রধান প্লেয়াররা প্রাধান্য পाने के लिए প্রতিযোগিতায় জোরের প্রেরণা পাচ্ছেন। কোম্পানিগুলো সবচেয়ে উন্নত মডেলের কারণে বাজারের অংশ এবং আরব ডলারের বিনিয়োগ চান। সরকারগুলো AI-এর অর্থনৈতিক সুবাহ চান এবং নিজেদের উদ্দেশ্যে উন্নত মডেলের অ্যাক্সেস চান। এই প্রতিযোগিতামূলক চাপগুলো খেলোয়াড়দের বিপদের কিনার পাশে ঝুঁকিপূর্ণ গতিতে দৌড়াতে বাধ্য করে, যেখানে অনেকেই চিন্তা করেন যে অসংयমিত AI এজেন্ট উদাহরণস্বরূপ সরকার বা আর্থিক পদ্ধতিগুলো পতিত করতে পারে, গুরুত্বপূর্ণ অবকাঠামো ধ্বংস করতে পারে, বা জৈবিক হামলা শুরু করতে পারে।

Während der zwei beängstigenden Wochen im Oktober 1962 stand die Welt einem Wimpernschlag vor einem nuklearen Armageddon nahe. Die Vereinigten Staaten und die Sowjetunion kämpften verzweifelt um einen Vorteil während des Wettrüstens des Kalten Krieges. Nachdem die Vereinigten Staaten Mittelstrecken-Atomraketen in Italien und der Türkei stationiert hatten, fürchteten die Sowjets einen Erstschlag und versuchten, ihre eigenen Atomwaffen auf Kuba zu stationieren. Die zweiwöchige angespannte Konfrontation, die folgte, die Kubakrise, eskalierte beinahe zu einem nuklearen Krieg. Doch das geschah nicht. Nicht nur traten die Parteien vom Rand der Katastrophe zurück, sondern die Krise stellte sich als Wendepunkt im Kalten Krieg selbst heraus. Diese Begegnung mit der Katastrophe veränderte das Denken der Führer beider Seiten, sagte William Wohlforth, Politikwissenschaftler an Dartmouth, der nationale Sicherheit und internationale Beziehungen studiert. „Sofort erhielten wir die Hotline-Vereinbarung, sodass wir miteinander sprechen konnten. Wir begannen, auf das Testabkommen hinzuarbeiten. Und langsam, in den folgenden Jahren, entwickelten wir einen großen, komplexen bilateralen Rüstungsbeschränkungsprozess.“

Die Vereinigten Staaten und die Sowjetunion blieben erbitterte Feinde. Aber bei einem gemeinsamen Interesse — die Menschheit nicht auszurotten — konnten sie zusammenarbeiten. Heute warnen Experten der KI-Industrie davor, dass KI-Unternehmen und die Länder, in denen sie ansässig sind, in ihrem eigenen Wettrüsten verfangen sind. Die Folgen, glauben viele, könnten genauso katastrophal sein wie der nukleare Krieg, den Präsident John F. Kennedy und der sowjetische Führer Nikita Chruschtschow knapp vermeiden konnten.

Ein neues Working Paper von Drew Fudenberg, Professor für Wirtschaft am M.I.T. und führender Spieltheoretiker, und Andrew Koh, Professor für Wirtschaft an der Columbia University und Forschungswissenschaftler bei Google Deep Mind, schlägt einen möglichen Weg vor, wie das KI-Wettrüsten auf ein sichereres Tempo verlangsamt werden könnte. Dazu müssten die Akteure im Wettbewerb — sowohl Unternehmen als auch Regierungen — gute Informationen über ihre Fortschritte austauschen und sich darauf einigen, wo die Gefahr tatsächlich beginnt.

Die Professoren Koh und Fudenberg gehen von einer einfachen Prämisse aus: Jeder hat ein Interesse daran, eine Katastrophe zu vermeiden, egal wie eigennützig er sein mag. Gleichzeitig argumentieren sie, dass die Hauptakteure der KI-Industrie starken Anreizen unterliegen, um die Vorherrschaft zu konkurrieren. Die Unternehmen wollen den Marktanteil und die Milliardeninvestitionen, die die fortschrittlichsten Modelle bringen werden. Die Regierungen wollen die wirtschaftlichen Vorteile von KI und außerdem Zugang zu fortschrittlichen Modellen für ihre eigenen Zwecke. Diese wettbewerbsbedingten Dränge treiben die Akteure gefährlich auf den Rand der Katastrophe zu, wo viele befürchten, dass unkontrollierte KI-Agenten beispielsweise Regierungen oder Finanzsysteme stürzen, lebenswichtige Infrastrukturen sabotieren oder einen biologischen Angriff starten könnten.

Durante las dos semanas angustiosas de octubre de 1962, el mundo estuvo a un parpadeo de un Armagedón nuclear. Estados Unidos y la Unión Soviética luchaban desesperadamente por una ventaja durante la carrera armamentista de la Guerra Fría. Después de que Estados Unidos estacionara misiles nucleares de alcance intermedio en Italia y Turquía, los soviéticos, temiendo un primer golpe, buscaron estacionar sus propias armas nucleares en Cuba. La tensa confrontación de dos semanas que siguió, la Crisis de los Misiles en Cuba, casi se escaló a una guerra nuclear. Pero no lo hizo. No solo las partes se alejaron del precipicio, sino que la crisis resultó ser un punto de inflexión en la Guerra Fría misma. Ese rozamiento con la catástrofe cambió el pensamiento de los líderes de ambos lados, dijo William Wohlforth, científico político de Dartmouth que estudia seguridad nacional y relaciones internacionales. "De inmediato obtuvimos el acuerdo de la línea directa, así que podíamos hablar entre nosotros. Empezamos a trabajar hacia el acuerdo de pruebas. Y lentamente, en los años siguientes, obtuvimos un proceso bilateral de control de armamentos grande y complejo."

Estados Unidos y la Unión Soviética permanecieron como enemigos acérrimos. Pero en un punto de interés compartido — no aniquilar a la humanidad — pudieron trabajar juntos. Hoy, expertos en la industria de la inteligencia artificial están sonando alarmas de que las empresas de IA y los países donde están basadas están atrapadas en su propio tipo de carrera armamentista. Las consecuencias, muchos creen, podrían ser tan desastrosas como la guerra nuclear que el presidente John F. Kennedy y el líder soviético, Nikita Khrushchev, evitaron por poco.

Un nuevo documento de trabajo de Drew Fudenberg, profesor de economía en M.I.T. y destacado teórico de juegos, y Andrew Koh, profesor de economía en la Universidad de Columbia y científico de investigación en Google Deep Mind, sugiere una posible forma de ralentizar la carrera armamentista de la IA a un ritmo más seguro. Requeriría que los jugadores en la competencia — tanto empresas como gobiernos — compartan buena información sobre sus avances y estén de acuerdo en dónde comienza realmente el peligro.

Los profesores Koh y Fudenberg parten de un principio sencillo: Todos tienen interés en evitar la catástrofe, sin importar cuán egoístas puedan ser. Al mismo tiempo, argumentan que los principales actores en la industria de la IA están bajo fuertes incentivos para competir por el dominio. Las empresas quieren la cuota de mercado y miles de millones de dólares de inversión que traerán los modelos más avanzados. Los gobiernos quieren los beneficios económicos de la IA y también el acceso a modelos avanzados para sus propios propósitos. Esas presiones competitivas impulsan a los jugadores a correr peligrosamente hacia el borde del desastre, donde muchos temen que agentes de IA descontrolados puedan, por ejemplo, derribar gobiernos o sistemas financieros, sabotear infraestructuras vitales o lanzar un ataque biológico.

Au cours des deux semaines éprouvantes d'octobre 1962, le monde a frôlé l'apocalypse nucléaire à un cil près. Les États-Unis et l'Union soviétique se battaient désespérément pour obtenir un avantage pendant la course aux armements de la Guerre froide. Après que les États-Unis eurent déployé des missiles nucléaires à portée intermédiaire en Italie et en Turquie, les Soviétiques, craignant une première frappe, ont cherché à déployer leurs propres armes nucléaires à Cuba. La confrontation tendue de deux semaines qui s'en est suivie, la crise des missiles de Cuba, a failli dégénérer en guerre nucléaire. Mais ce n'est pas arrivé. Non seulement les parties se sont éloignées du précipice, mais la crise s'est révélée être un tournant dans la Guerre froide elle-même. Cette frôlée avec la catastrophe a changé la pensée des dirigeants des deux côtés, a déclaré William Wohlforth, scientifique politique au Dartmouth qui étudie la sécurité nationale et les relations internationales. « Tout de suite, nous avons obtenu l'accord sur la ligne directe, afin de pouvoir nous parler. Nous avons commencé à travailler vers l'accord sur les essais. Et lentement, au fil des années suivantes, nous avons obtenu un processus bilatéral de contrôle des armements grand et complexe. »

Les États-Unis et l'Union soviétique sont restés des ennemis acharnés. Mais sur un point d'intérêt commun — ne pas anéantir l'humanité — ils pouvaient travailler ensemble. Aujourd'hui, des experts de l'industrie de l'intelligence artificielle sonnent l'alarme selon laquelle les entreprises d'IA et les pays où elles sont basées sont engagés dans leur propre type de course aux armements. Les conséquences, beaucoup le pensent, pourraient être aussi désastreuses que la guerre nucléaire que le président John F. Kennedy et le dirigeant soviétique Nikita Khrouchtchev ont étroitement évitée.

Un nouveau document de travail de Drew Fudenberg, professeur d'économie au MIT et théoricien des jeux de premier plan, et Andrew Koh, professeur d'économie à l'Université de Columbia et scientifique de recherche chez Google Deep Mind, suggère une voie possible pour ralentir la course aux armements de l'IA à un rythme plus sûr. Cela nécessiterait que les acteurs en concurrence — tant les entreprises que les gouvernements — partagent de bonnes informations sur leurs avancées et s'accordent sur l'endroit où le danger commence réellement.

Les professeurs Koh et Fudenberg partent d'un prémisse simple : tout le monde a intérêt à éviter la catastrophe, peu importe à quel point ils peuvent être intéressés par eux-mêmes. En même temps, ils soutiennent que les principaux acteurs de l'industrie de l'IA sont soumis à de fortes incitations à competir pour la domination. Les entreprises veulent la part de marché et les milliards de dollars d'investissement que apporteront les modèles les plus avancés. Les gouvernements veulent les avantages économiques de l'IA et aussi l'accès aux modèles avancés pour leurs propres besoins. Ces pressions compétitives poussent les acteurs à courir dangereusement vers le bord du désastre, où beaucoup craignent que des agents d'IA incontrôlables puissent, par exemple, faire tomber des gouvernements ou des systèmes financiers, saboter des infrastructures vitales ou lancer une attaque biologique.

अक्टूबर 1962 के दो भयानक हफ्तों में, दुनिया परमाणु विनाश से केवल एक पलक झपकने की दूरी पर थी। संयुक्त राज्य और सोवियत संघ शीत युद्ध हथियार प्रतियोगिता के दौरान फायदा हासिल करने के लिए desesperate रूप से जूझ रहे थे। जब संयुक्त राज्य ने इटली और तुर्की में मध्यम दूरी के परमाणु मिसाइल तैनात किए, तो सोवियत, पहले हमले का डरते हुए, अपने स्वयं के परमाणु हथियारों को क्यूबा में तैनात करने की कोशिश की। इसके बाद उत्पन्न हुए तनावपूर्ण दो सप्ताह का सामना — क्यूबा मिसाइल संकट — लगभग परमाणु युद्ध में बदल गया। लेकिन ऐसा नहीं हुआ। न केवल पक्षों ने ब्रिंक से कदम पीछे हटाया, बल्कि इस संकट ने शीत युद्ध स्वयं में एक मोड़ साबित किया। उस आपदा से बचने की घटना ने दोनों पक्षों के नेताओं के सोच को बदल दिया, डार्टमाउथ के राजनीतिक वैज्ञानिक विलियम वॉलफोर्थ, जो राष्ट्रीय सुरक्षा और अंतर्राष्ट्रीय संबंधों का अध्ययन करते हैं, ने कहा। " तुरंत हमें हॉटलाइन समझौता मिल गया, ताकि हम एक-दूसरे से बात कर सकें। हमने परीक्षण समझौते की ओर काम करना शुरू कर दिया। और धीरे-धीरे, बाद के वर्षों में हमें एक बड़ा, जटिल द्विपक्षीय हथियार नियंत्रण प्रक्रिया मिली।"

संयुक्त राज्य और सोवियत संघ कट्टर दुश्मन बने रहे। लेकिन एक साझा हित पर — मानवता को नष्ट न करना — वे साथ काम कर सकते थे। आज, कृत्रिम बुद्धिमत्ता उद्योग के विशेषज्ञ चेतावनी दे रहे हैं कि एआई कंपनियां और वे देश जहां वे स्थित हैं, अपनी तरह की हथियार प्रतियोगिता में फंसी हुई हैं। बहुत से लोग मानते हैं कि इसके परिणाम उतने ही आपदाजनक हो सकते हैं जितने कि राष्ट्रपति जॉन एफ. केनेडी और सोवियत नेता निकिता ख्रुशचेव द्वारा टाली गई परमाणु युद्ध।

एमआईटी के अर्थशास्त्र professor और प्रमुख खेल सिद्धांतकार ड्रू फ्यूडेनबर्ग और कोलंबिया विश्वविद्यालय के अर्थशास्त्र professor, गूगल डीप माइंड के अनुसंधान वैज्ञानिक एंड्र्यू कोह द्वारा एक नया कार्यपत्र एक संभावित तरीका सुझाता है जिससे एआई हथियार प्रतियोगिता को सुरक्षित गति पर धीमा किया जा सकता है। इसके लिए प्रतियोगिता के खिलाड़ियों — दोनों कंपनियों और सरकारों को — उनकी प्रगति के बारे में अच्छी जानकारी साझा करने और यह सहमत होने की आवश्यकता होगी कि खतरा वास्तव में कहाँ शुरू होता है।

कोह और फ्यूडेनबर्ग प्रोफेसर एक सरल धारणा से शुरू करते हैं: हर किसी के पास आपदा को टालने का हित है, चाहे वे कितने भी स्वार्थी क्यों न हों। उसी समय, वे तर्क देते हैं कि एआई उद्योग के मुख्य खिलाड़ियों पर प्रभुत्व के लिए प्रतिस्पर्धा करने के लिए मजबूत प्रोत्साहन हैं। कंपनियों को सबसे उन्नत मॉडल लाने वाले बाजार हिस्सेदारी और अरबों डॉलर के निवेश चाहिए। सरकारों को एआई के आर्थिक लाभ चाहिए और साथ ही अपने उद्देश्यों के लिए उन्नत मॉडल तक पहुंच चाहिए। ये प्रतिस्पर्धी दबाव खिलाड़ियों को आपदा की ओर pericolously तेजी से बढ़ने के लिए प्रेरित करते हैं, जहाँ कई लोग चिंता करते हैं कि अनियंत्रित एआई एजेंट उदाहरण के लिए सरकार या वित्तीय प्रणालियों को गिरा सकते हैं, महत्वपूर्ण बुनियादी ढांचे को नुकसान पहुंचा सकते हैं, या जैविक हमला शुरू कर सकते हैं।

Selama dua minggu mengerikan pada bulan Oktober 1962, dunia berada sejenis kedip mata dari Armageddon nuklir. Amerika Serikat dan Uni Soviet sedang berjuang dengan putus asa untuk mendapatkan keunggulan selama balapan senjata Perang Dingin. Setelah Amerika Serikat menempatkan raket nuklir jarak menengah di Italia dan Turki, Uni Soviet, takut akan serangan pertama, mencoba menempatkan senjata nuklir mereka sendiri di Kuba. Konfrontasi ketat dua minggu yang terjadi kemudian, Krisis Raket Kuba, hampir memicu perang nuklir. Tapi hal itu tidak terjadi. Bahkan bukan hanya pihak-pihak itu mundur dari tepi kebinasaan, krisis itu sendiri membuktikan menjadi titik balik dalam Perang Dingin itu sendiri. Kontak tersebut dengan bencana telah mengubah pola pikir pemimpin di kedua belah pihak, kata William Wohlforth, ilmuwan politik di Dartmouth yang mempelajari keamanan nasional dan hubungan internasional. "Segera kita mendapatkan persetujuan garis panas, sehingga kita bisa saling berbicara. Kami mulai bekerja menuju persetujuan pengujian. Dan perlahan, selama beberapa tahun kemudian, kami memperoleh proses kontrol senjata bilateral yang besar dan kompleks."

Amerika Serikat dan Uni Soviet tetap menjadi musuh yang kejam. Namun, pada satu titik minat bersama — tidak memusnahkan umat manusia — mereka bisa bekerja sama. Hari ini, pakar dalam industri kecerdasan artificial (AI) mengeluarkan peringatan bahwa perusahaan-perusahaan AI dan negara-negara tempat mereka berdomisili terjebak dalam jenis balapan senjata mereka sendiri. Konsekuensi yang banyak orang percaya bisa sama destruktifnya dengan perang nuklir yang Presiden John F. Kennedy dan pemimpin Soviet Nikita Khrushchev hanya dengan sempit menghindari.

Naskah kerja baru oleh Drew Fudenberg, profesor ekonomi di M.I.T. yang merupakan teoretis permainan terkemuka, dan Andrew Koh, profesor ekonomi di Universitas Columbia dan ilmuwan penelitian di Google Deep Mind, menawarkan cara yang mungkin untuk melambatkan balapan senjata AI agar berjalan dengan lebih aman. Ini akan mengharuskan peserta dalam kompetisi — baik perusahaan maupun pemerintah — berbagi informasi yang baik tentang kemajuan mereka, dan menyepakati di mana sebenarnya bahaya dimulai.

Profesor Koh dan Fudenberg mulai dari premisa sederhana: semua orang memiliki kepentingan untuk menghindari bencana, tidak peduli seberapa egoistik mereka mungkin. Pada saat yang sama, mereka berargumen bahwa para pemeran utama dalam industri AI berada di bawah insentif yang kuat untuk bersaing guna mendominasi. Perusahaan-perusahaan ingin bagian pasar dan miliaran dolar investasi yang akan dibawa oleh model-model paling maju. Pemerintah-pemerintah ingin manfaat ekonomi dari AI dan juga akses ke model-model maju untuk keperluan mereka sendiri. Tekanan kompetitif ini mendorong peserta untuk berlomba dengan berbahaya menuju ambang bencana, di mana banyak orang khawatir bahwa agen AI yang liar bisa, misalnya, menjatuhkan pemerintah atau sistem keuangan, merusak infrastruktur vital, atau meluncurkan serangan biologis.

1962年10月の2週間にわたる恐ろしい期間中、世界は核のArmageddonからまばたき一つのところまで来ていた。米国とソビエト連邦は、冷戦の軍拡競争の中で必死に優位性を争っていた。米国がイタリアとトルコに中距離核ミサイルを配備した後、ソビエトは先制攻撃を恐れ、自国の核兵器をキューバに配備しようとした。その結果生じた緊迫した2週間の対峙――キューバミサイル危機――は、核戦争にエスカレートしかけた。しかし、そうはならなかった。当事者たちはただ危機から後退しただけでなく、この危機自体が冷戦の転機となったことを証明した。あの危機的状況からの脱出は、両陣営のリーダーの思考を変えた。ダートマス大学の政治学者で国家安全保障と国際関係を研究するウィリアム・ウォルフォースはこう言う。「すぐにホットライン協定が結ばれ、互いに話せるようになった。私たちは核実験禁止条約に向けて作業を始めた。そしてその後の数年間をかけて、大きく複雑な両者間の軍備管理プロセスを築いていった。」

米国とソビエト連邦は依然として死に物狂いの敵だった。だが、人類を滅ぼさないという一点の共通の利益については、協力することができた。今日、人工知能業界の専門家たちは警鐘を鳴らしている：AI企業とそれらが拠点とする国々は、独自の軍拡競争に巻き込まれている。多くの専門家は、その結果が、ジョン・F・ケネディ大統領とソビエト指導者ニキータ・フルシチョフがギリギリで回避した核戦争と同じくらい災害的になる可能性があると考えている。

MITの経済学教授でゲーム理論の第一人者であるドリュー・フーデンバーグと、コロンビア大学の経済学教授でありグーグル・ディープマインドの研究科学者であるアンドリュー・コーによる新しいワーキングペーパーは、AI軍拡競争をより安全なペースに緩和する可能性のある方法を示唆している。それは、競争の当事者――企業と政府の両方――が技術の進歩について良い情報を共有し、実際に危険が始まる場所について合意することを要求する。

コー教授とフーデンバーグ教授は、単純な前提から始める：どれほど自己中心的であっても、誰もが災害を避ける利益を持っている。同時に、彼らは主張する：AI業界の主要プレーヤーは、優位性を争うために強いインセンティブにさらされている。企業は、最先端モデルがもたらす市場シェアと数十億ドルの投資を望む。政府は、AIの経済的利益と、自らの目的のために先進モデルへのアクセスを望む。これらの競争的プレッシャーは、当事者を災害の brink へと危険な競争に駆り立てる。多くの専門家は、制御不能なAIエージェントが、例えば政府や金融システムを崩壊させ、重要なインフラストラクチャを破壊し、または生物兵器攻撃を開始する可能性があると懸念している。

Durante as duas semanas angustiantes de outubro de 1962, o mundo esteve a um piscar de olhos de um Armagedom nuclear. Estados Unidos e União Soviética estavam disputando desesperadamente uma vantagem durante a corrida armamentista da Guerra Fria. Depois que os Estados Unidos estacionaram mísseis nucleares de alcance intermediário na Itália e na Turquia, os soviéticos, temendo um primeiro ataque, buscaram estacionar suas próprias armas nucleares em Cuba. O confronto tenso de duas semanas que se seguiu, a Crise dos Mísseis de Cuba, quase se intensificou para uma guerra nuclear. Mas não aconteceu. Não apenas as partes recuaram do limite, mas a crise se provou um ponto de virada na Guerra Fria mesma. Esse encontro com a catástrofe mudou o pensamento dos líderes de ambos os lados, disse William Wohlforth, cientista político de Dartmouth que estuda segurança nacional e relações internacionais. "Imediatamente obtivemos o acordo da linha direta, então pudemos nos falar. Começamos a trabalhar em direção ao acordo de testes. E lentamente, nos anos seguintes, obtivemos um processo bilateral de controle de armamentos grande e complexo."

Estados Unidos e União Soviética permaneceram inimigos mortais. Mas em um ponto de interesse compartilhado — não aniquilar a humanidade — eles puderam trabalhar juntos. Hoje, especialistas na indústria de inteligência artificial estão soando alarmes de que as empresas de IA e os países onde elas estão sediadas estão presas em seu próprio tipo de corrida armamentista. As consequências, muitos acreditam, poderiam ser tão desastrosas quanto a guerra nuclear que o presidente John F. Kennedy e o líder soviético Nikita Khrushchev narrowly evitaram.

Um novo documento de trabalho de Drew Fudenberg, professor de economia no M.I.T. e teórico de jogos líder, e Andrew Koh, professor de economia na Universidade de Columbia e cientista de pesquisa no Google Deep Mind, sugere uma possível maneira de desacelerar a corrida armamentista da IA para um ritmo mais seguro. Isso exigiria que os participantes na competição — tanto empresas quanto governos — compartilhassem boas informações sobre seus avanços e concordassem sobre onde o perigo realmente começa.

Os professores Koh e Fudenberg partem de um pressuposto simples: todos têm interesse em evitar a catástrofe, independentemente de quão egoístas possam ser. Ao mesmo tempo, eles argumentam que os principais players da indústria de IA estão sob fortes incentivos para competir por domínio. As empresas querem a participação de mercado e bilhões de dólares de investimento que os modelos mais avançados trarão. Os governos querem os benefícios econômicos da IA e também acesso a modelos avançados para seus próprios fins. Essas pressões competitivas levam os jogadores a correr perigosamente em direção ao limite do desastre, onde muitos temem que agentes de IA desgovernados possam, por exemplo, derrubar governos ou sistemas financeiros, sabotar infraestruturas vitais ou lançar um ataque biológico.

В течение двух мучительных недель октября 1962 года мир находился на расстоянии одного взмаха ресниц от ядерного Армагеддона. Соединенные Штаты и Советский Союз отчаянно боролись за преимущество в гонке вооружений холодной войны. После того как Соединенные Штаты разместили промежуточные ядерные ракеты в Италии и Турции, Советский Союз, опасаясь первого удара, попытался разместить свое собственное ядерное оружие на Кубе. Напряженное двухнедельное противостояние, которое последовало, Карибский кризис, едва не переросло в ядерную войну. Но этого не произошло. Не только стороны отступили от края пропасти, но и кризис стал поворотным пунктом в холодной войне самой. Эта встреча с катастрофой изменила мышление лидеров обеих сторон, как заявил Уильям Вольфорт, политолог из Дартмут, изучающий национальную безопасность и международные отношения. «Сразу же мы получили соглашение о горячей линии, чтобы мы могли разговаривать друг с другом. Мы начали работать над соглашением об испытаниях. И постепенно, в последующие годы, мы выработали большой сложный двусторонний процесс контроля над вооружениями.»

Соединенные Штаты и Советский Союз остались непримиримыми врагами. Но в одном общем интересе — не уничтожать человечество — они могли сотрудничать. Сегодня эксперты в области искусственного интеллекта бьют тревогу, что компании ИИ и страны, где они базируются, заперты в собственной версии гонки вооружений. Последствия, как считают многие, могут быть столь же катастрофичны, как ядерная война, которую президент Джон Ф. Кеннеди и советский лидер Никита Хрущев едва избежали.

Новая рабочая бумага Дрю Фуденберга, профессора экономики в МИТ и ведущего теоретика игр, и Эндрю Коха, профессора экономики в Колумбийском университете и научного сотрудника Google Deep Mind, предполагает возможный способ замедлить гонку вооружений ИИ до более безопасного темпа. Для этого потребуется, чтобы участники соревнования — как компании, так и правительства — делились полезной информацией о своих достижениях и договорились о том, где на самом деле начинается опасность.

Профессора Кох и Фуденберг исходят из простого допущения: у всех есть интерес избежать катастрофы, независимо от того, насколько они эгоистичны. В то же время они утверждают, что главные игроки в индустрии ИИ находятся под сильным стимулом конкурировать за доминирование. Компании хотят долю рынка и миллиарды долларов инвестиций, которые принесут самые передовые модели. Правительства хотят экономических выгод от ИИ и также доступа к передовым моделям для собственных целей. Эти конкурентные давления толкают участников к опасному бегу к краю катастрофы, где многие опасаются, что неуправляемые агенты ИИ могут, например, свергнуть правительства или финансовые системы, подорвать жизненно важную инфраструктуру или запустить биологическую атаку.

在1962年十月的两周惊心动魄的日子里，世界与核毁灭仅一步之遥。美国和苏联在冷战军备竞赛中拼命争夺优势。在美国在意大利和土耳其部署中程核导弹后，苏联担心遭受先发打击，试图在古巴部署自己的核武器。随后的紧张两周对峙——古巴导弹危机——几乎升级为核战争。但它没有。不仅双方从悬崖边缘后退，这场危机本身成为冷战的转折点。那次与灾难的擦肩而过改变了双方领导人的思维，达茅斯学院研究国家安全和国际关系的政治学家威廉·沃尔福思说。“立刻我们就达成了热线协议，以便互相交谈。我们开始朝着试禁协议努力。随后几年，我们慢慢建立起一个庞大而复杂的双边军控进程。”

美国和苏联仍然是死敌。但在一个共同利益上——不毁灭人类——他们可以合作。如今，人工智能行业的专家们敲响警钟：AI公司及其所在国家正陷入类似的军备竞赛。许多人认为，其后果可能与约翰·F·肯尼迪总统和苏联领导人尼基塔·赫鲁晓夫险些避免的核战争一样灾难性。

麻省理工学院经济学教授、著名博弈论学家德鲁·弗登伯格和哥伦比亚大学经济学教授、谷歌深度思维研究科学家安德鲁·科的一份新工作论文提出了一种可能的减缓AI军备竞赛的途径，使其走向更安全的速度。这要求竞赛中的参与者——无论是公司还是政府——分享他们技术进步的良好信息，并就危险实际上何时开始达成一致。

科和弗登伯格教授从一个简单的前提出发：无论多么自私，每个人都有避免灾难的共同利益。同时，他们认为，AI行业的主要参与者正面临强烈的竞争动机以争夺主导地位。公司希望获得最先进模型带来的市场份额和数十亿美元投资。政府希望获得AI的经济效益，并获取先进模型用于自身目的。这些竞争压力促使参与者危险地冲向灾难边缘，许多人担心失控的AI代理可能，例如，摧毁政府或金融系统，破坏关键基础设施，或发动生物攻击。

关键实体：公司：谷歌深度思维，Open AI，Anthropic | 人物：威廉·沃尔福思，德鲁·弗登伯格，安德鲁·科，约翰·F·肯尼迪，尼基塔·赫鲁晓夫 | 地点：古巴，意大利，土耳其，达茅斯，麻省理工学院，哥伦比亚大学

FAQ：如何减缓AI军备竞赛？

根据德鲁·弗登伯格和安德鲁·科的工作论文，关键在于竞争双方——无论是公司还是政府——分享其技术进展信息以及他们离安全前线有多近，从而改变竞争激励机制。