A.I. Officials Stonewall on Questions About Technology’s Risks
🇬🇧 English
As concerns over artificial intelligence rise, New York City lawmakers grilled representatives for major AI companies on Monday — and emerged with little clarity over how they plan to address looming threats. The companies did not quantify the risk of a cataclysmic event, whether they had insurance in those instances, or whether they could stop an AI model that failed an internal safety test or external review. In one tense exchange, City Council speaker Julie Menin asked each company how they are quantifying 'the risk imposed by AI in the worst case catastrophic scenario.' Morgan Dwyer, who runs OpenAI’s policy development and operations, said, 'I don’t know,' and added that she does not think it matters whether the chance is 1 percent, 10 percent, or 20 percent.
Menin replied that none of these levels is remotely acceptable. Dwyer said OpenAI should not train models that cannot be safely kept under human control. The hearing featured testimony from Anthropic, OpenAI, Meta, and Google, while a representative for the AI arm of SpaceX, controlled by Elon Musk, did not attend despite a subpoena.
Menin said she would ask a judge to intervene. Some companies are preparing for public trading, with Anthropic’s value projected to exceed $2 trillion in some reports. Whistleblower Jacob Coxon, who recently quit Anthropic, warned that humanity likely loses control of AI systems, potentially leading to human extinction, and criticized the companies’ 'move fast, break things' culture as reckless given the stakes.
🇸🇦 العربية
مسؤولو الذكاء الاصطناعي يعرقلون مناقشة المخاطر التقنية في نيويورك
مع زيادة المخاوف بشأن الذكاء الاصطناعي، استجوب مشرعو مدينة نيويورك ممثلين من الشركات الكبرى للذكاء الاصطناعي يوم الاثنين، وخرجوا بقليل من الوضوح حول كيفية معالجة التهديدات الوشيكة. لم quantify الشركات خطر حدث كارثي، أو ما إذا كانت لديها تأمين في تلك الحالات، أو ما إذا كانت قادرة على إيقاف نموذج ذكاء اصطناعي فشل في اختبار السلامة الداخلي أو المراجعة الخارجية. في تبادل tense، سأل رئيس مجلس مدينة نيويورك Julie Menin كل شركة عن كيفيةquantifying "المخاطر التي تفرضها الذكاء الاصطناعي في scenario الكارثي الأسوأ". Morgan Dwyer، التي تدير تطوير السياسات وعمليات OpenAI، قالت: "لا أعرف"، وأضافت أنها لا تعتقد أن الأمر يهم ما إذا كانت الفرصة 1 في المائة، 10 في المائة، أو 20 في المائة. أجاب Menin أن none من هذه المستويات مقبولة على الإطلاق. قال Dwyer إن OpenAI يجب ألا تدرب Models لا يمكن الاحتفاظ بها تحت سيطرة الإنسان بأمان. تضمنت الجلسة شهادات من Anthropic، OpenAI، Meta، وGoogle، بينما لم يحضر ممثل الفرع الخاص بالذكاء الاصطناعي من SpaceX، الخاضع لإدارة Elon Musk، رغم استدعاء citación. قالت Menin إنها ستطلب من القاضي التدخل. بعض الشركات تستعد للاكتتاب العام، مع قيمة Anthropic projected تتجاوز 2 تريليون دولار في بعض التقارير. حذّر Jacob Coxon، وهو منبّه (Whistleblower) recently quit Anthropic، من أن البشرية من المحتمل أن تفقد السيطرة على أنظمة الذكاء الاصطناعي، مما قد يؤدي إلى Extinction البشرية، وانتقد ثقافة الشركات "التحرك السريع، كسر الأشياء" كونها ساذجة given the stakes.
لماذا رفض ممثلو شركات الذكاء الاصطناعيquantification المخاطر الكارثية في اجتماع مجلس مدينة نيويورك؟
بما في ذلك Morgan Dwyer من OpenAI، صرح representantes أنهم لا يعرفون كيفيةquantification خطر scenariوه الكارثي للذكاء الاصطناعي، وأجادلوا بأن حتى probabilidades bajas مثل 1% أو 10% ليست مقبولة، yet they declined to provide specific risk assessments or safety guarantees.
🇧🇩 বাংলা
AI অফিসিয়ালস NYC hearing-তে technology risks-কে stonewalling
AI-তে চिंতা বাড়ছে, তাই নিউ-Йорк সিটিের আইন-makers প্রধান AI公司의 representative-কে Monday-তে grilled किया এবং looming threats-কে address করার প্ল্যানে খুব কম স্পষ্টতা উঠে এmerge। Companies did not quantify the risk of a cataclysmic event, weather they had insurance in those instances, or whether they could stop an AI model that failed an internal safety test or external review. একটু টেনশন-full exchange-তে, City Council speaker Julie Menin asked each company how they are quantifying 'the risk imposed by AI in the worst case catastrophic scenario'. Morgan Dwyer, who runs OpenAI’s policy development and operations, said, 'I don’t know,' and added that she does not think it matters whether the chance is 1 percent, 10 percent, or 20 percent. Menin replied that none of these levels is remotely acceptable.
Dwyer said OpenAI should not train models that cannot be safely kept under human control. The hearing featured testimony from Anthropic, OpenAI, Meta, and Google, while a representative for the AI arm of SpaceX, controlled by Elon Musk, did not attend despite a subpoena. Menin said she would ask a judge to intervene.
Some companies are preparing for public trading, with Anthropic’s value projected to exceed $2 trillion in some reports. Whistleblower Jacob Coxon, who recently quit Anthropic, warned that humanity likely loses control of AI systems, potentially leading to human extinction, and criticized the companies’ 'move fast, break things' culture as reckless given the stakes.
Why did AI company representatives refuse to quantify catastrophic risks at the NYC Council hearing?
Representatives, including Morgan Dwyer of OpenAI, stated they do not know how to quantify the risk of catastrophic AI scenarios and argued that even low probabilities like 1% or 10% are not acceptable, yet they declined to provide specific risk assessments or safety guarantees.
🇩🇪 Deutsch
KI-Offizielle blockieren Technologierisiken auf NYC-Hörung
Da die Sorgen um künstliche Intelligenz zunehmen, haben New Yorker Gesetzgeber am Montag Vertreter großer KI-Unternehmen befragt und kamen mit wenig Klarheit darüber, wie sie drohende Bedrohungen angehen wollen. Die Unternehmen haben das Risiko eines katastrophalen Ereignisses nicht quantifiziert, ob sie in diesen Fällen versichert waren, oder ob sie ein KI-Modell stoppen können, das einen internen Sicherheitstest oder eine externe Überprüfung fehlgeschlagen ist. Bei einer angespannten Aussprache fragte Stadtratspräsidentin Julie Menin jedes Unternehmen, wie es "das Risiko, das KI im schlimmsten Katastrophenszenario darstellt, quantifiziert".
Morgan Dwyer, der OpenAI-Politikentwicklung und -operationen leitet, sagte: "Ich weiß nicht", und fügte hinzu, dass es ihr nicht egal sei, ob die Chance 1 Prozent, 10 Prozent oder 20 Prozent beträgt. Menin erwiderte, dass keines dieser Ebenen annähernd akzeptabel ist. Dwyer sagte, OpenAI sollte keine Modelle trainieren, die nicht sicher unter menschlicher Kontrolle gehalten werden können.
Die Anhörung umfasste Testimonies von Anthropic, OpenAI, Meta und Google, während ein Vertreter des KI-Arms von SpaceX, kontrolliert durch Elon Musk, trotz eines Subpoenas nicht erschien. Menin sagte, sie würde einen Richter um Eingreifen bitten. Einige Unternehmen bereiten sich auf den öffentlichen Handel vor, wobei der Wert von Anthropic in manchen Berichten auf über 2 Billionen Dollar geschätzt wird.
Whistleblower Jacob Coxon, der kürzlich Anthropic verließ, warnte, dass die Menschheit wahrscheinlich die Kontrolle über KI-Systeme verlieren könnte, was potenziell zum menschlichen Aussterben führen könnte, und kritisierte die Kultur der Unternehmen "schnell vorangehen, Dinge zerstören" als fahrlässig angesichts der stakes.
Warum KI-Unternehmensvertreter auf der NYC-Ratsanhörung katastrophale Risiken nicht quantifiziert haben?
einschließlich Morgan Dwyer von OpenAI, gaben Vertreter an, sie wüssten nicht, wie sie das Risiko katastrophaler KI-Szenarien quantifizieren sollen, und argumentierten, dass selbst niedrige Wahrscheinlichkeiten wie 1 % oder 10 % nicht akzeptabel sind, yet they declined to provide specific risk assessments or safety guarantees.
🇪🇸 Español
Funcionarios de IA se niegan a cuantificar riesgos tecnológicos en una audiencia de la ciudad de Nueva York
A medida que aumentan las preocupaciones por la inteligencia artificial, los legisladores de la ciudad de Nueva York interrogaron a representantes de grandes empresas de IA el lunes y surgieron con poca claridad sobre cómo planean abordar las amenazas inminentes. Las empresas no cuantificaron el riesgo de un evento catastrófico, si tenían un seguro en esos casos, o si podrían detener un modelo de IA que fallara una prueba de seguridad interna o una revisión externa. En un intercambio tenso, la presidenta del Consejo de la Ciudad, Julie Menin, preguntó a cada empresa cómo están cuantificando "el riesgo impuesto por la IA en el peor escenario catastrófico".
Morgan Dwyer, quien dirige el desarrollo de políticas y operaciones de OpenAI, dijo: "No lo sé", y agregó que no cree que importe si la probabilidad es del 1 por ciento, 10 por ciento o 20 por ciento. Menin respondió que ninguno de estos niveles es remotamente aceptable. Dwyer dijo que OpenAI no debería entrenar modelos que no puedan mantenerse de forma segura bajo control humano.
La audiencia contó con testimonios de Anthropic, OpenAI, Meta y Google, mientras que un representante del brazo de IA de SpaceX, controlado por Elon Musk, no asistió a pesar de una citación. Menin dijo que pediría a un juez que intervenga. Algunas empresas se están preparando para cotizar en público, con el valor de Anthropic proyectado a superar los 2 billones de dólares en algunos informes.
El denunciante Jacob Coxon, quien recientemente dimitió de Anthropic, advirtió que la humanidad probablemente perderá el control de los sistemas de IA, potencialmente provocando la extinción humana, y criticó la cultura de las empresas de "moverse rápido, romper cosas" como imprudente dado los stakes.
¿Por qué los representantes de empresas de IA se negaron a cuantificar riesgos catastróficos en la audiencia del Consejo de la Ciudad de Nueva York?
Los representantes, incluido Morgan Dwyer de OpenAI, afirmaron que no saben cómo cuantificar el riesgo de escenarios catastróficos de IA y argumentaron que incluso bajas probabilidades como el 1% o el 10% no son aceptables, sin embargo, se negaron a proporcionar evaluaciones de riesgo específicas o garantías de seguridad.
🇫🇷 Français
Les responsables de l'IA bloquent sur les risques technologiques lors d'une audience à New York
Alors que les inquiétudes concernant l'intelligence artificielle augmentent, les législateurs de la ville de New York ont interpellé lundi des représentants des grandes entreprises d'IA et sont ressortis avec peu de clarté sur la manière d'aborder les menaces imminentes. Les entreprises n'ont pas quantifié le risque d'un événement cataclysmique, qu'elles avaient une assurance dans ces cas, ou qu'elles pouvaient arrêter un modèle d'IA ayant échoué un test de sécurité interne ou un examen externe. Lors d'un échange tendu, le président du Conseil de la ville de New York, Julie Menin, a demandé à chaque entreprise comment elle quantifie "le risque imposé par l'IA dans le scénario cataclysmique worst case".
Morgan Dwyer, qui dirige le développement des politiques et les opérations d'OpenAI, a déclaré : "Je ne sais pas", et a ajouté qu'elle ne pense pas que cela importe si la chance est de 1 pour cent, 10 pour cent ou 20 pour cent. Menin a répondu que aucun de ces niveaux n'est remotement acceptable. Dwyer a déclaré que OpenAI ne devrait pas entraîner des modèles qui ne peuvent pas être maintenus sous contrôle humain en sécurité.
La audition a présenté des témoignages d'Anthropic, OpenAI, Meta et Google, tandis qu'un représentant de la branche IA de SpaceX, contrôlé par Elon Musk, n'a pas assisté malgré un citation. Menin a déclaré qu'elle demanderait à un juge d'intervenir. Certaines entreprises se préparent à une introduction en bourse, avec la valeur d'Anthropic projetée à dépasser 2 billions de dollars dans certains rapports.
Le lanceur d'alerte Jacob Coxon, qui a récemment quitté Anthropic, a averti que l'humanité risque probablement de perdre le contrôle des systèmes d'IA, potentiellement menant à l'extinction humaine, et a critiqué la culture des entreprises "mettre la vitesse, casser des choses" comme irresponsable compte tenu des stakes.
Pourquoi les représentants des entreprises d'IA ont-ils refusé de quantifier les risques cataclysmiques lors de l'audience du Conseil municipal de New York ?
Les représentants, dont Morgan Dwyer d'OpenAI, ont déclaré qu'ils ne savent pas comment quantifier le risque de scénarios cataclysmiques d'IA et ont argué que même de faibles probabilités comme 1 % ou 10 % ne sont pas acceptables, yet they declined to provide specific risk assessments or safety guarantees.
🇮🇳 हिन्दी
AI अधिकारी NYC सुनवाई में तकनीकी जोखिमों पर किया स्टोनवाल
जैसे-जैसे कृत्रिम बुद्धिमत्ता को लेकर चिंता बढ़ रही है, न्यूयॉर्क शहर के विधायक सोमवार को प्रमुख AI कंपनियों के प्रतिनिधियों से पूछताछ की और उभर कर सामने आए कि कैसे वे आने वाले खतरों से निपटने की योजना बना रहे हैं, इसमें बहुत कम स्पष्टता रही। कंपनियों ने आपातकालीन घटना के जोखिम को मापा नहीं, क्या उन मामलों में उनके पास बीमा है, या क्या वे एक ऐसे AI मॉडल को रोक सकते हैं जिसे आंतरिक सुरक्षा परीक्षा या बाहरी समीक्षा में विफल घोषित किया गया है। एक तनावपूर्ण आदान-प्रदान में, शहर परिषद के अध्यक्ष Julie Menin ने प्रत्येक कंपनी से पूछा कि वे 'AI द्वारा खराब स्थिति में आपातकालीन परिदृश्य में लाए गए जोखिम' को कैसे माप रहे हैं। OpenAI के नीति विकास और संचालन चलाने वाले Morgan Dwyer ने कहा: "नहीं पता", और जोड़ा कि क्या फर्क पड़ता है कि मौका 1 प्रतिशत, 10 प्रतिशत या 20 प्रतिशत है। Menin ने जवाब दिया कि इनमें से कोई भी स्तर स्वीकार्य नहीं है। Dwyer ने कहा कि OpenAI ऐसे मॉडल प्रशिक्षित नहीं करना चाहिए जिसे मानव नियंत्रण में सुरक्षित रूप से रखा न जा सके। सुनवाई में Anthropic, OpenAI, Meta और Google से गवाही शामिल थी, जबकि एनवीआईडिया के स्वामित्व वाली AI शाखा SpaceX, जिसे Elon Musk नियंत्रित करते हैं, ने सबपोना के बावजूद उपस्थिति दर्ज नहीं कराई। Menin ने कहा कि वह एक न्यायाधीश को हस्तक्षेप करने के लिए कहेंगी। कुछ कंपनियां सार्वजनिक व्यापार के लिए तैयारी कर रही हैं, जिसमें Anthropic का मूल्य कुछ रिपोर्ट्स में 2 ट्रिलियन डॉलर से अधिक बताया गया है। whistleblower Jacob Coxon, जिन्होंने हाल ही में Anthropic छोड़ दिया है, ने चेतावनी दी है कि मानवीय रूप से AI प्रणालियों पर नियंत्रण खोने की संभावना है, जिससे मानव जाति का विनाश हो सकता है, और कंपनियों के 'तेजी से आगे बढ़ो, चीजों को तोड़ो' संस्कृति को stakes के मद्देनजर लापरवाह बताया है।
AI कंपनी के प्रतिनिधियों ने NYC परिषद की सुनवाई में आपातकालीन जोखिमों को क्यों मापने से इनकार कर दिया?
प्रतिनिधि, जिसमें OpenAI के Morgan Dwyer शामिल हैं, ने कहा कि उन्हें catasrophic AI परिदृश्यों के जोखिम को मापने का तरीका नहीं पता है और उन्होंने तर्क दिया कि 1% या 10% जैसी कम संभावनाएं भी स्वीकार्य नहीं हैं, फिर भी उन्होंने विशिष्ट जोखिम आकलन या सुरक्षा गारंटी प्रदान करने से इनकार कर दिया।
🇮🇩 Bahasa Indonesia
Resmi AI Menyimpalkan Risiko Teknologi pada Sidang NYC
Seperti khawatir AI semakin meningkat, legislator Kota New York memeriksawakil perusahaan AI besar pada Senin dan muncul dengan sedikit klarifikasi tentang cara menghadapi ancaman yang akan datang. Perusahaan tidak mengquantifikasi risiko peristiwa kataklisik, apakah mereka memiliki asuransi pada kasus-kasus tersebut, atau apakah mereka bisa menghentikan AI model yang gagal uji keamanan internal atau ulasan eksternal. Pada pertukaran yang ketegangan, Ketua Dewan Kota New York, Julie Menin, menanyakan kepada setiap perusahaan bagaimana mereka mengquantifikasi "risiko yang ditetapkan AI dalam skenario kasatastrof terburuk".
Morgan Dwyer, yang mengurus pengembangan kebijakan dan operasi OpenAI, berkata: "Saya tidak tahu", dan menambah bahwa menurutnya, apakah peluang 1 persen, 10 persen, atau 20 persen, itu tidak masalah. Menin menjawab bahwa tidak ada dari tingkat-level ini yang menerima. Dwyer mengatakan OpenAI seharusnya tidak melatih model yang tidak bisa di bawah kontrol manusia selamat.
Sidang ini menyertakan testimoni dari Anthropic, OpenAI, Meta, dan Google, sementara wakil dari cabang AI SpaceX, dikontrol oleh Elon Musk, tidak hadir meskipun ada subpoena. Menin mengatakan ia akan meminta hakim untuk intervensi. Beberapa perusahaan siap untuk perdagangan publik, dengan nilai Anthropic projected melebihi $2 trillion pada beberapa laporan.
Whistleblower Jacob Coxon, yang baru-baru ini mengundurkan diri dari Anthropic, memperingatkan bahwa kemungkinan manusia kehilangan kontrol atas sistem AI, yang potensial mengarah pada punah manusia, dan mengkritik budaya perusahaan "gerak cepat, pecah barang" sebagai reckless given the stakes.
Mengapa wakil perusahaan AI menolak mengquantifikasi risiko kataklisik pada sidang Dewan NYC?
Wakil, termasuk Morgan Dwyer dari OpenAI, menyatakan mereka tidak tahu cara mengquantifikasi risiko skenario AI kataklisik dan berargumen bahwa meski peluang rendah seperti 1% atau 10% tidak diterima, namun mereka menolak memberikan penilaian risiko spesifik atau jaminan keamanan.
🇯🇵 日本語
AI関係者がNYC hearingで技術リスクをスルー
AIに関する懸念が高まる中、ニューヨーク市の議員は月曜日に主要AI企業の代表者を問いただしましたが、迫り来る脅威への対処計画についてほとんど明確さは得られませんでした。企業はカタストロフィックなイベントのリスクを量化しなかったし、そのような場合に保険に入っていたかどうか、あるいは内部安全テストや外部レビューに失敗したAIモデルを停止できるかどうかも明かしませんでした。緊張したやり取りの中で、ニューヨーク市評議会議長のJulie Meninは各社に対し、「AIが最悪のカタストロフィックシーンでもたらすリスク」をどのように量化しているか尋ねました。OpenAIの政策開発と運営を担当するMorgan Dwyerは、「わからない」と答え、確率が1%であれ10%であれ20%であれ重要ではないと述べました。Meninはそのいずれのレベルも到底受け入れられない replied しました。DwyerはOpenAIが人間の管理下で安全に保てないモデルの訓練を行うべきでないと言いました。この聴聞会にはAnthropic、OpenAI、Meta、Googleの証言が含まれていましたが、Elon Muskが支配するSpaceXのAI部門の代表はサブポナが出されても出席しませんでした。Meninは judge に介入を求めると述べました。一部の企業は公開取引の準備をしており、Anthropicの価値が一部の報告書で2兆ドルを超えると予測されています。 whistleblowerのJacob Coxonは最近Anthropicを退職し、人類がAIシステムのコントロールを失う可能性があり、人類の絶滅につながりかねないとして、企業の「速攻、破壊的」文化を stakes が非常に高いことについて無謀だと批判しました。
なぜAI会社の代表者はNYC市議会の聴聞会でカタストロフィックなリスクを量化しなかったのか?
Morgan Dwyerを含む代表者は、カタストロフィックなAIシナリオのリスクを量化する方法を知らないと述べ、1%や10%といった低確率でも受け入れられないと主張しながら、具体的なリスク評価や安全保証を提供することを拒否しました。
🇧🇷 Português
Oficiais de IA fazem stonewalling sobre riscos tecnológicos em audiência em NYC
À medida que as preocupações com a IA aumentam, legisladores da cidade de Nova York interrogaram representantes de grandes empresas de IA na segunda-feira e surgiram com pouca clareza sobre como planejar lidar com ameaças iminentes. As empresas não quantificaram o risco de um evento catastrófico, se tinham seguros nesses instantes, ou se poderiam parar um modelo de IA que falhou em um teste de segurança interno ou revisão externa. Em uma troca tensa, a presidente do Conselho da Cidade de Nova York, Julie Menin, perguntou a cada empresa como estão quantificando "o risco imposto pela IA no pior cenário catastrófico".
Morgan Dwyer, que gerencia o desenvolvimento de políticas e operações da OpenAI, disse: "Não sei", e acrescentou que não acha que importe se a chance é 1 por cento, 10 por cento ou 20 por cento. Menin respondeu que nenhum desses níveis é remotamente aceitável. Dwyer disse que a OpenAI não deveria treinar modelos que não possam ser mantidos com segurança sob controle humano.
A audiência contou com testemunhos da Anthropic, OpenAI, Meta e Google, enquanto um representante do braço de IA da SpaceX, controlado por Elon Musk, não compareceu apesar de um subpoena. Menin disse que iria pedir a um juiz intervir. Algumas empresas estão se preparando para negociação pública, com o valor da Anthropic projetado para exceder 2 trilhões de dólares em alguns relatórios.
O denunciante Jacob Coxon, que recentemente renunciou à Anthropic, advertiu que a humanidade provavelmente perderá o controle dos sistemas de IA, potencialmente levando à extinção humana, e criticou a cultura das empresas de "mover rápido, quebrar coisas" como irresponsável dado os stakes.
Por que representantes de empresas de IA se recusaram a quantificar riscos catastróficos na audiência do Conselho da Cidade de Nova York?
Representantes, incluindo Morgan Dwyer da OpenAI, afirmaram que não sabem como quantificar o risco de cenários catastróficos de IA e argumentaram que até baixas probabilidades como 1% ou 10% não são aceitáveis, yet they declined to provide specific risk assessments or safety guarantees.
🇷🇺 Русский
Официальные лица ИИ блокируют вопросы рисков на слушании в Нью-Йорке
По мере роста обеспокоенности искусственным интеллектом, депутаты Нью-Йорка interroгировали представителей крупных компаний ИИ в понедельник и вышли с малым ясностью о том, как планировать решение насущных угроз. Компании не quantified риск катаклизма, имели ли они страхование в таких случаях, или могли ли они остановить модель ИИ, которая не прошла внутренний тест на безопасность или внешний обзор. На напряженнойexchange, Говорящий Совета города Нью-Йорка Julie Menin спросил каждый company, как они quantify "риск, который наносит ИИ в худшем катаклизме сценарии". Morgan Dwyer, который управляет разработкой политики и операций OpenAI, сказал: "Не знаю", и добавил, что, по его мнению, не важно, шанс ли 1 процент, 10 процентов или 20 процентов. Menin ответил, что ни один из этих уровней недопустим.
Dwyer сказал, что OpenAI не должен тренировать модели, которые нельзя безопасно удержать под контролем человека. В слушании давали testimony Anthropic, OpenAI, Meta и Google, а представитель ИИ-отделения SpaceX, контролируемого Элоном Маском, не явился несмотря на повестку. Menin сказала, что попросит судью вмешаться. Некоторые компании готовятся к публичному торговле, с оценкой стоимости Anthropic, projected to exceed $2 trillion в некоторых отчетах. whistleblower Jacob Coxon, который недавно уволился из Anthropic, предупредил, что человечество, вероятно, потеряет контроль над системами ИИ, что может привести к вымиранию человека, и критиковал культуру компаний "move fast, break things" как неответственный given the stakes.
Почему представители компаний ИИ отказались quantify катаклизменные риски на слушании Совета Нью-Йорка?
Включая Morgan Dwyer из OpenAI, представители заявили, что не знают, как quantify риск катаклизменных сценариев ИИ и argued, что даже низкие вероятности вроде 1% или 10% недопустимы, yet they declined to provide specific risk assessments or safety guarantees.
🇨🇳 简体中文
AI官员在纽约听证会上回避技术风险
随着对人工智能的担忧日益增加,纽约市立法者周一审问了主要AI公司的代表——然而他们出来时对计划如何应对迫在眉睫的威胁几乎没有任何明确性。这些公司没有量化灾难性事件的风险,也没有说明在这样的情况下是否购买了保险,或者他们是否能停止一个在内部安全测试或外部审查中失败的AI模型。在一次紧张的交流中,纽约市议会议长朱莉·梅宁询问每家公司如何量化"AI在最坏情况下的灾难性情景下所带来的风险"。负责OpenAI政策开发和运营的Morgan Dwyer说:"我不知道",并补充道,无论概率是1%、10%还是20%,这都不重要。梅宁回复说,这些概率水平都不接受。Dwyer表示,OpenAI不应训维无法在人类控制下安全保存的模型。听证会包括Anthropic、OpenAI、Meta和Google的证词,而由埃隆·马斯克控制的AI部门SpaceX的代表尽管收到了传票却未出席。梅宁表示她将请求法官介入。一些公司正准备公开交易,据报道Anthropic的价值在某些报告中超过2万亿美元。最近辞职的Anthropic举报人Jacob Coxon警告称,人类可能会失去对AI系统的控制,从而导致人类灭绝,并批评公司"快速前进,粗破事物"的文化在 stakes( stakes 原文为 stakes,此处指 stakes/风险)如此之高的情况下鲁莽可耻。
为什么AI公司代表拒绝在纽约市议会听证会上量化灾难性风险?
包括OpenAI的Morgan Dwyer在内的代表表示,他们不知道如何量化灾难性AI情景的风险,并认为即使是1%或10%这样的低概率也不接受,然而他们拒绝提供具体的风险评估或安全保证。