We Are Clueless About What’s Coming

Nick Bostrom rose to prominence for predicting artificial intelligence doom more than a decade ago — garnering support from figures like Elon Musk, Sam Altman and Bill Gates. But now he’s retreating from those warnings, focusing his attention on a more complex question: What if A.I. succeeds beyond humanity’s wildest imaginations? Will we be bored out of our minds? Are we too infantile to understand what’s coming?

Guest host Spencer Klavan, the associate editor at the Claremont Review of Books, presses Bostrom on the potential uses and abuses of superintelligence, rationalist ethics and what makes us human. Below is an edited transcript of an episode of “Interesting Times.”

Bostrom says his outlook hasn’t changed fundamentally, but the world has. When he started “Superintelligence” in 2008, people dismissed it as science fiction. Now it’s mainstream, so he’s shifting focus to the upside, which also has philosophically problematic aspects.

On probabilities like P(doom), Bostrom says there’s no math behind them — they’re subjective. He calls himself a “fretful optimist,” excited about the upside but worried we might not get there.

برز Nick Bostrom للتنبؤ بنهاية الذكاء الاصطناعي منذ أكثر من عقد — حظي بدعم شخصيات مثل Elon Musk وSam Altman وBill Gates. لكنه الآن يتراجع عن تلك التحذيرات، مركزًا انتباهه على سؤال أكثر تعقيدًا: ماذا لو نجح الذكاء الاصطناعي بما يتجاوز أقصى تخيلات البشرية؟ هل سنشعر بالملل الشديد؟ هل نحن طفوليون جدًا لدرجة أننا لا نفهم ما هو قادم؟

المضيف الضيف Spencer Klavan، المحرر المساعد في Claremont Review of Books، يضغط على Bostrom حول الاستخدامات والانتهاكات المحتملة للذكاء الفائق، والأخلاق العقلانية، وما يجعلنا بشرًا. أدناه نص محرر لحلقة من “Interesting Times”.

يقول Bostrom إن نظرته لم تتغير جوهريًا، لكن العالم تغير. عندما بدأ “Superintelligence” في 2008، رفضه الناس باعتباره خيالًا علميًا. الآن أصبح سائدًا، لذا فهو يحول التركيز إلى الجانب الإيجابي، الذي له أيضًا جوانب إشكالية فلسفيًا.

بخصوص الاحتمالات مثل P(doom)، يقول Bostrom إنه لا يوجد رياضيات وراءها — إنها ذاتية. يصف نفسه بأنه “متفائل قلق”، متحمس للجانب الإيجابي لكنه قلق من أننا قد لا نصل إلى هناك.

Nick Bostrom এক দশকেরও বেশি আগে কৃত্রিম বুদ্ধিমত্তা ধ্বংসের ভবিষ্যদ্বাণী করে খ্যাতি অর্জন করেছিলেন — Elon Musk, Sam Altman এবং Bill Gates-এর মতো ব্যক্তিত্বদের সমর্থন লাভ করে। কিন্তু এখন তিনি সেই সতর্কবার্তাগুলি থেকে সরে আসছেন, তার মনোযোগ একটি আরও জটিল প্রশ্নের দিকে নিবদ্ধ করছেন: যদি AI মানবতার সবচেয়ে বন্য কল্পনার বাইরে সফল হয় তাহলে কী হবে? আমরা কি আমাদের মনের বাইরে বিরক্ত হব? আমরা কি আসন্ন বিষয়গুলি বুঝতে খুব শিশুসুলভ?

অতিথি হোস্ট Spencer Klavan, Claremont Review of Books-এর সহযোগী সম্পাদক, Bostrom-কে সুপারইন্টেলিজেন্সের সম্ভাব্য ব্যবহার এবং অপব্যবহার, যুক্তিবাদী নীতিশাস্ত্র এবং কী আমাদের মানুষ করে তা নিয়ে চাপ দেন। নীচে “Interesting Times”-এর একটি পর্বের সম্পাদিত প্রতিলিপি দেওয়া হল।

Bostrom বলেন তার দৃষ্টিভঙ্গি মৌলিকভাবে পরিবর্তিত হয়নি, কিন্তু বিশ্ব পরিবর্তিত হয়েছে। যখন তিনি 2008 সালে “Superintelligence” শুরু করেছিলেন, লোকেরা এটিকে বিজ্ঞান কল্পকাহিনী হিসাবে প্রত্যাখ্যান করেছিল। এখন এটি মূলধারায় পরিণত হয়েছে, তাই তিনি ইতিবাচক দিকের দিকে মনোনিবেশ করছেন, যার দার্শনিকভাবে সমস্যাযুক্ত দিকও রয়েছে।

P(doom)-এর মতো সম্ভাবনার বিষয়ে, Bostrom বলেন তাদের পিছনে কোন গণিত নেই — সেগুলি বিষয়ভিত্তিক। তিনি নিজেকে একজন “উদ্বিগ্ন আশাবাদী” বলে অভিহিত করেন, ইতিবাচক দিক সম্পর্কে উত্তেজিত কিন্তু চিন্তিত যে আমরা সেখানে পৌঁছাতে পারি না।

Nick Bostrom wurde vor über einem Jahrzehnt berühmt, weil er den Untergang der künstlichen Intelligenz vorhersagte – und dabei Unterstützung von Persönlichkeiten wie Elon Musk, Sam Altman und Bill Gates erhielt. Aber jetzt zieht er sich von diesen Warnungen zurück und konzentriert sich auf eine komplexere Frage: Was wäre, wenn KI über die kühnsten Vorstellungen der Menschheit hinaus erfolgreich wäre? Werden wir uns zu Tode langweilen? Sind wir zu infantil, um zu verstehen, was kommt?

Der Gastgeber Spencer Klavan, stellvertretender Redakteur der Claremont Review of Books, befragt Bostrom zu den potenziellen Nutzungsmöglichkeiten und Missbräuchen von Superintelligenz, rationalistischer Ethik und dem, was uns menschlich macht. Unten finden Sie eine bearbeitete Abschrift einer Folge von „Interesting Times“.

Bostrom sagt, seine Sichtweise habe sich nicht grundlegend geändert, aber die Welt habe sich geändert. Als er 2008 mit „Superintelligence“ begann, taten die Leute es als Science-Fiction ab. Jetzt ist es Mainstream, also verlagert er den Fokus auf die positive Seite, die auch philosophisch problematische Aspekte hat.

Zu Wahrscheinlichkeiten wie P(doom) sagt Bostrom, dass dahinter keine Mathematik steckt – sie sind subjektiv. Er bezeichnet sich selbst als „besorgten Optimisten“, begeistert von der positiven Seite, aber besorgt, dass wir es nicht schaffen könnten.

Nick Bostrom saltó a la fama por predecir el fin de la inteligencia artificial hace más de una década, obteniendo el apoyo de figuras como Elon Musk, Sam Altman y Bill Gates. Pero ahora se está retirando de esas advertencias, centrando su atención en una pregunta más compleja: ¿Qué pasa si la IA tiene éxito más allá de las imaginaciones más salvajes de la humanidad? ¿Nos aburriremos hasta la muerte? ¿Somos demasiado infantiles para entender lo que viene?

El presentador invitado Spencer Klavan, editor asociado de Claremont Review of Books, presiona a Bostrom sobre los posibles usos y abusos de la superinteligencia, la ética racionalista y lo que nos hace humanos. A continuación se muestra una transcripción editada de un episodio de “Interesting Times”.

Bostrom dice que su perspectiva no ha cambiado fundamentalmente, pero el mundo sí. Cuando comenzó “Superintelligence” en 2008, la gente lo descartó como ciencia ficción. Ahora es algo común, por lo que está cambiando el enfoque hacia el lado positivo, que también tiene aspectos filosóficamente problemáticos.

Sobre probabilidades como P(doom), Bostrom dice que no hay matemáticas detrás de ellas, son subjetivas. Se llama a sí mismo un “optimista inquieto”, emocionado por el lado positivo pero preocupado de que no lleguemos allí.

Nick Bostrom est devenu célèbre pour avoir prédit la fin de l'intelligence artificielle il y a plus d'une décennie — obtenant le soutien de personnalités comme Elon Musk, Sam Altman et Bill Gates. Mais maintenant, il se retire de ces avertissements, concentrant son attention sur une question plus complexe : Et si l'IA réussissait au-delà des imaginations les plus folles de l'humanité ? Allons-nous nous ennuyer à mourir ? Sommes-nous trop infantiles pour comprendre ce qui arrive ?

L'invité animateur Spencer Klavan, rédacteur associé au Claremont Review of Books, interroge Bostrom sur les utilisations et abus potentiels de la superintelligence, l'éthique rationaliste et ce qui nous rend humains. Voici une transcription éditée d'un épisode de « Interesting Times ».

Bostrom dit que sa perspective n'a pas fondamentalement changé, mais le monde a changé. Quand il a commencé « Superintelligence » en 2008, les gens l'ont rejeté comme de la science-fiction. Maintenant c'est courant, donc il se concentre sur le côté positif, qui a aussi des aspects philosophiquement problématiques.

Sur les probabilités comme P(doom), Bostrom dit qu'il n'y a pas de mathématiques derrière elles — elles sont subjectives. Il se dit un « optimiste inquiet », enthousiaste à propos du côté positif mais inquiet que nous n'y arrivions pas.

Nick Bostrom एक दशक से अधिक पहले कृत्रिम बुद्धिमत्ता विनाश की भविष्यवाणी करने के लिए प्रमुखता से उभरे — Elon Musk, Sam Altman और Bill Gates जैसी हस्तियों से समर्थन प्राप्त करते हुए। लेकिन अब वह उन चेतावनियों से पीछे हट रहे हैं, अपना ध्यान एक अधिक जटिल प्रश्न पर केंद्रित कर रहे हैं: क्या होगा यदि AI मानवता की सबसे जंगली कल्पनाओं से परे सफल हो जाए? क्या हम अपने दिमाग से ऊब जाएंगे? क्या हम यह समझने के लिए बहुत अपरिपक्व हैं कि क्या आने वाला है?

अतिथि मेजबान Spencer Klavan, Claremont Review of Books के एसोसिएट एडिटर, Bostrom से सुपरइंटेलिजेंस के संभावित उपयोगों और दुरुपयोगों, तर्कवादी नैतिकता और हमें मानव क्या बनाता है, पर दबाव डालते हैं। नीचे “Interesting Times” के एक एपिसोड की संपादित प्रतिलिपि है।

Bostrom का कहना है कि उनका दृष्टिकोण मौलिक रूप से नहीं बदला है, लेकिन दुनिया बदल गई है। जब उन्होंने 2008 में “Superintelligence” शुरू किया, तो लोगों ने इसे विज्ञान कथा के रूप में खारिज कर दिया। अब यह मुख्यधारा है, इसलिए वह सकारात्मक पहलू पर ध्यान केंद्रित कर रहे हैं, जिसमें दार्शनिक रूप से समस्याग्रस्त पहलू भी हैं।

P(doom) जैसी संभावनाओं पर, Bostrom का कहना है कि उनके पीछे कोई गणित नहीं है — वे व्यक्तिपरक हैं। वह खुद को एक “चिंतित आशावादी” कहते हैं, सकारात्मक पहलू के बारे में उत्साहित लेकिन चिंतित कि हम वहां नहीं पहुंच सकते।

Nick Bostrom menjadi terkenal karena memprediksi kiamat kecerdasan buatan lebih dari satu dekade lalu — mendapatkan dukungan dari tokoh-tokoh seperti Elon Musk, Sam Altman dan Bill Gates. Tapi sekarang dia mundur dari peringatan itu, memfokuskan perhatiannya pada pertanyaan yang lebih kompleks: Bagaimana jika AI berhasil melampaui imajinasi terliar umat manusia? Akankah kita bosan setengah mati? Apakah kita terlalu kekanak-kanakan untuk memahami apa yang akan datang?

Pembawa acara tamu Spencer Klavan, editor asosiasi di Claremont Review of Books, menekan Bostrom tentang potensi penggunaan dan penyalahgunaan superintelligence, etika rasionalis dan apa yang membuat kita manusia. Di bawah ini adalah transkrip yang diedit dari sebuah episode “Interesting Times”.

Bostrom mengatakan pandangannya tidak berubah secara fundamental, tetapi dunia telah berubah. Ketika dia memulai “Superintelligence” pada tahun 2008, orang menganggapnya sebagai fiksi ilmiah. Sekarang sudah menjadi arus utama, jadi dia mengalihkan fokus ke sisi positif, yang juga memiliki aspek filosofis yang bermasalah.

Tentang probabilitas seperti P(doom), Bostrom mengatakan tidak ada matematika di baliknya — itu subjektif. Dia menyebut dirinya seorang “optimis yang gelisah,” bersemangat tentang sisi positif tetapi khawatir kita mungkin tidak sampai di sana.

Nick Bostromは10年以上前に人工知能の破滅を予測して名声を得ました——Elon Musk、Sam Altman、Bill Gatesなどの人物から支持を得ました。しかし今、彼はそれらの警告から撤退し、より複雑な問題に注意を向けています：もしAIが人類の最も大胆な想像を超えて成功したらどうなるでしょうか？私たちは退屈で頭がおかしくなるでしょうか？私たちは何が来るのか理解するには幼すぎるのでしょうか？

ゲストホストのSpencer Klavan（Claremont Review of Booksのアソシエイトエディター）は、Bostromに超知能の潜在的な使用と悪用、合理主義倫理、そして何が私たちを人間にするのかについて迫ります。以下は「Interesting Times」のエピソードの編集されたトランスクリプトです。

Bostromは彼の見解は根本的に変わっていないが、世界は変わったと言います。彼が2008年に「Superintelligence」を始めたとき、人々はそれをSFとして却下しました。今では主流なので、彼は良い面に焦点を移していますが、それには哲学的に問題のある側面もあります。

P(doom)のような確率について、Bostromは背後に数学はなく、主観的なものだと言います。彼は自分自身を「不安な楽観主義者」と呼び、良い面に興奮しているが、そこに到達できないかもしれないと心配しています。

Nick Bostrom ganhou destaque por prever o fim da inteligência artificial há mais de uma década — obtendo apoio de figuras como Elon Musk, Sam Altman e Bill Gates. Mas agora ele está recuando desses avisos, concentrando sua atenção em uma questão mais complexa: E se a IA tiver sucesso além das imaginações mais selvagens da humanidade? Vamos ficar entediados? Somos infantis demais para entender o que está por vir?

O apresentador convidado Spencer Klavan, editor associado da Claremont Review of Books, pressiona Bostrom sobre os usos e abusos potenciais da superinteligência, ética racionalista e o que nos torna humanos. Abaixo está uma transcrição editada de um episódio de “Interesting Times”.

Bostrom diz que sua perspectiva não mudou fundamentalmente, mas o mundo mudou. Quando ele começou “Superintelligence” em 2008, as pessoas o descartaram como ficção científica. Agora é mainstream, então ele está mudando o foco para o lado positivo, que também tem aspectos filosoficamente problemáticos.

Sobre probabilidades como P(doom), Bostrom diz que não há matemática por trás delas — são subjetivas. Ele se autodenomina um “otimista inquieto”, animado com o lado positivo, mas preocupado que possamos não chegar lá.

Nick Bostrom получил известность, предсказав гибель искусственного интеллекта более десяти лет назад — заручившись поддержкой таких фигур, как Elon Musk, Sam Altman и Bill Gates. Но теперь он отходит от этих предупреждений, сосредотачивая внимание на более сложном вопросе: что, если ИИ преуспеет за пределами самых смелых фантазий человечества? Неужели нам станет смертельно скучно? Неужели мы слишком инфантильны, чтобы понять, что грядет?

Приглашенный ведущий Spencer Klavan, помощник редактора Claremont Review of Books, расспрашивает Bostrom о потенциальных применениях и злоупотреблениях сверхинтеллектом, рационалистической этике и том, что делает нас людьми. Ниже приведена отредактированная стенограмма эпизода «Interesting Times».

Bostrom говорит, что его взгляды принципиально не изменились, но мир изменился. Когда он начал работу над «Superintelligence» в 2008 году, люди отвергали это как научную фантастику. Теперь это мейнстрим, поэтому он переключает внимание на положительную сторону, которая также имеет философски проблемные аспекты.

Что касается вероятностей, таких как P(doom), Bostrom говорит, что за ними нет математики — они субъективны. Он называет себя «беспокойным оптимистом», воодушевленным положительной стороной, но обеспокоенным тем, что мы можем не добраться туда.

Nick Bostrom十多年前因预测人工智能末日而声名鹊起——获得了Elon Musk、Sam Altman和Bill Gates等人的支持。但现在他正在撤回这些警告，将注意力集中在一个更复杂的问题上：如果AI的成功超出了人类最疯狂的想象会怎样？我们会无聊透顶吗？我们是否太幼稚而无法理解即将发生的事情？

客座主持人Spencer Klavan是《Claremont Review of Books》的副主编，他向Bostrom追问超级智能的潜在用途和滥用、理性主义伦理以及是什么让我们成为人类。以下是“Interesting Times”一集的编辑转录。

Bostrom表示他的观点没有根本改变，但世界变了。当他2008年开始写《超级智能》时，人们将其视为科幻小说。现在它已成为主流，所以他正在将焦点转向积极的一面，这也有哲学上的问题。

关于P(末日)等概率，Bostrom表示背后没有数学——它们是主观的。他称自己为“焦虑的乐观主义者”，对积极的一面感到兴奋，但担心我们可能无法实现。