Navier–Stokes Lost in Translation

Autoformalisation is increasingly used to verify mathematical texts, including those generated by AI, as in Open AI's announced proof of blow-up of solutions to the Navier-Stokes equations. In this process, an AI system translates the text from a natural language into a formal language such as Lean. Once this translation is done, the argument expressed in the formal language can easily be mechanically verified.

The purpose of this article is to demonstrate why this process may offer no confidence in the original NL argument, owing to the various difficulties in performing the translation semantically faithfully. In particular, we highlight that the problem of resolving ambiguities in mathematical NL text, which is necessary in order to provide semantically faithful translation, is arbitrarily high up in the Solvability Complexity Index (SCI) hierarchy/arithmetical hierarchy (the SCI = ∞). Hence, informally, providing semantically faithful AI autoformalisation is harder than any computational problem including the Halting problem (which has SCI = 1).

To demonstrate the effect of this result we provide several examples of AI mistranslations of NL statements and proofs into Lean in practice, resulting in mismatches between NL proofs and their Lean `verifications'. These include Open AI's announced Navier-Stokes proof. In particular, we show that the formalised Lean proof does not correspond to the NL proof of blow-up of solutions to the Navier-Stokes equations.

يُستخدم الأتمتة الشكلية بشكل متزايد للتحقق من النصوص الرياضية، بما في ذلك تلك التي يولدها الذكاء الاصطناعي، كما في برهان Open AI المعلن لانفجار حلول معادلات نافييه-ستوكس. في هذه العملية، يقوم نظام ذكاء اصطناعي بترجمة النص من لغة طبيعية إلى لغة شكلية مثل Lean. بمجرد إتمام هذه الترجمة، يمكن التحقق من الحجة المعبر عنها باللغة الشكلية ميكانيكياً بسهولة. الغرض من هذه المقالة هو توضيح لماذا قد لا توفر هذه العملية ثقة في الحجة الأصلية باللغة الطبيعية، بسبب الصعوبات المختلفة في إجراء الترجمة بأمانة دلالية. على وجه الخصوص، نسلط الضوء على أن مشكلة حل الغموض في النص الرياضي باللغة الطبيعية، وهي ضرورية لتوفير ترجمة أمينة دلالياً، عالية بشكل تعسفي في تسلسل مؤشر تعقيد القابلية للحل (SCI)/التسلسل الحسابي (SCI = ∞). وبالتالي، بشكل غير رسمي، توفير أتمتة شكلية أمينة دلالياً بواسطة الذكاء الاصطناعي أصعب من أي مشكلة حسابية بما في ذلك مشكلة التوقف (التي لها SCI = 1). لإظهار تأثير هذه النتيجة، نقدم عدة أمثلة على ترجمات خاطئة من الذكاء الاصطناعي لعبارات وبراهين باللغة الطبيعية إلى Lean عملياً، مما يؤدي إلى عدم تطابق بين البراهين باللغة الطبيعية و'تحققها' في Lean. تتضمن هذه برهان Open AI المعلن لنافييه-ستوكس. على وجه الخصوص، نظهر أن البرهان الشكلي في Lean لا يتوافق مع البرهان باللغة الطبيعية لانفجار حلول معادلات نافييه-ستوكس.

স্বয়ংক্রিয় আনুষ্ঠানিকীকরণ ক্রমবর্ধমানভাবে গাণিতিক গ্রন্থগুলি যাচাই করতে ব্যবহৃত হচ্ছে, যার মধ্যে AI দ্বারা উৎপন্ন গ্রন্থগুলিও রয়েছে, যেমন Open AI-এর ঘোষিত Navier-Stokes সমীকরণের সমাধানের বিস্ফোরণের প্রমাণ। এই প্রক্রিয়ায়, একটি AI সিস্টেম পাঠ্যটিকে একটি প্রাকৃতিক ভাষা থেকে একটি আনুষ্ঠানিক ভাষা যেমন Lean-এ অনুবাদ করে। একবার এই অনুবাদ সম্পন্ন হলে, আনুষ্ঠানিক ভাষায় প্রকাশিত যুক্তিটি সহজেই যান্ত্রিকভাবে যাচাই করা যায়। এই নিবন্ধের উদ্দেশ্য হল প্রদর্শন করা কেন এই প্রক্রিয়াটি মূল প্রাকৃতিক ভাষার যুক্তিতে কোনো আস্থা প্রদান করতে পারে না, শব্দার্থিকভাবে বিশ্বস্ত অনুবাদ সম্পাদনের বিভিন্ন অসুবিধার কারণে। বিশেষ করে, আমরা জোর দিয়ে বলি যে গাণিতিক প্রাকৃতিক ভাষার পাঠ্যে অস্পষ্টতা সমাধানের সমস্যা, যা শব্দার্থিকভাবে বিশ্বস্ত অনুবাদ প্রদানের জন্য প্রয়োজনীয়, সমাধানযোগ্যতা জটিলতা সূচক (SCI) স্তরক্রম/পাটিগণিত স্তরক্রমে নির্বিচারে উচ্চ (SCI = ∞)। তাই, অনানুষ্ঠানিকভাবে, শব্দার্থিকভাবে বিশ্বস্ত AI স্বয়ংক্রিয় আনুষ্ঠানিকীকরণ প্রদান করা হল্টিং সমস্যা (যার SCI = 1) সহ যেকোনো গণনামূলক সমস্যার চেয়ে কঠিন। এই ফলাফলের প্রভাব প্রদর্শনের জন্য আমরা অনুশীলনে AI দ্বারা প্রাকৃতিক ভাষার বিবৃতি এবং প্রমাণের Lean-এ ভুল অনুবাদের বেশ কয়েকটি উদাহরণ প্রদান করি, যার ফলে প্রাকৃতিক ভাষার প্রমাণ এবং তাদের Lean 'যাচাইকরণ'-এর মধ্যে অমিল হয়। এগুলির মধ্যে Open AI-এর ঘোষিত Navier-Stokes প্রমাণ অন্তর্ভুক্ত। বিশেষ করে, আমরা দেখাই যে আনুষ্ঠানিক Lean প্রমাণটি Navier-Stokes সমীকরণের সমাধানের বিস্ফোরণের প্রাকৃতিক ভাষার প্রমাণের সাথে সঙ্গতিপূর্ণ নয়।

Die Autoformalisierung wird zunehmend verwendet, um mathematische Texte zu verifizieren, einschließlich solcher, die von KI generiert wurden, wie im angekündigten Beweis von Open AI für das Aufblasen von Lösungen der Navier-Stokes-Gleichungen. In diesem Prozess übersetzt ein KI-System den Text aus einer natürlichen Sprache in eine formale Sprache wie Lean. Sobald diese Übersetzung abgeschlossen ist, kann das in der formalen Sprache ausgedrückte Argument leicht mechanisch verifiziert werden.

Der Zweck dieses Artikels ist es zu demonstrieren, warum dieser Prozess kein Vertrauen in das ursprüngliche Argument in natürlicher Sprache bieten kann, aufgrund der verschiedenen Schwierigkeiten bei der semantisch treuen Übersetzung. Insbesondere heben wir hervor, dass das Problem der Auflösung von Mehrdeutigkeiten in mathematischem Text in natürlicher Sprache, das für eine semantisch treue Übersetzung notwendig ist, in der Hierarchie des Lösbarkeitskomplexitätsindex (SCI)/arithmetischen Hierarchie beliebig hoch ist (der SCI = ∞). Daher ist es informell gesprochen schwieriger, eine semantisch treue KI-Autoformalisierung bereitzustellen als jedes Rechenproblem, einschließlich des Halteproblems (das SCI = 1 hat).

Um die Wirkung dieses Ergebnisses zu demonstrieren, liefern wir mehrere Beispiele für KI-Fehlübersetzungen von Aussagen und Beweisen in natürlicher Sprache in Lean in der Praxis, die zu Diskrepanzen zwischen Beweisen in natürlicher Sprache und ihren Lean-„Verifikationen“ führen. Dazu gehört der angekündigte Navier-Stokes-Beweis von Open AI. Insbesondere zeigen wir, dass der formalisierte Lean-Beweis nicht dem Beweis in natürlicher Sprache für das Aufblasen von Lösungen der Navier-Stokes-Gleichungen entspricht.

La autoformalización se utiliza cada vez más para verificar textos matemáticos, incluidos los generados por IA, como en la prueba anunciada por Open AI de la explosión de soluciones a las ecuaciones de Navier-Stokes. En este proceso, un sistema de IA traduce el texto de un lenguaje natural a un lenguaje formal como Lean. Una vez realizada esta traducción, el argumento expresado en el lenguaje formal puede verificarse mecánicamente fácilmente.

El propósito de este artículo es demostrar por qué este proceso puede no ofrecer confianza en el argumento original en lenguaje natural, debido a las diversas dificultades para realizar la traducción semánticamente fiel. En particular, destacamos que el problema de resolver ambigüedades en el texto matemático en lenguaje natural, necesario para proporcionar una traducción semánticamente fiel, es arbitrariamente alto en la jerarquía del Índice de Complejidad de Solubilidad (SCI)/jerarquía aritmética (el SCI = ∞). Por lo tanto, informalmente, proporcionar una autoformalización semánticamente fiel de IA es más difícil que cualquier problema computacional, incluido el problema de la parada (que tiene SCI = 1).

Para demostrar el efecto de este resultado, proporcionamos varios ejemplos de malas traducciones de IA de declaraciones y pruebas en lenguaje natural a Lean en la práctica, lo que resulta en desajustes entre las pruebas en lenguaje natural y sus 'verificaciones' en Lean. Estos incluyen la prueba de Navier-Stokes anunciada por Open AI. En particular, mostramos que la prueba formalizada en Lean no corresponde a la prueba en lenguaje natural de la explosión de soluciones a las ecuaciones de Navier-Stokes.

L'autoformalisation est de plus en plus utilisée pour vérifier des textes mathématiques, y compris ceux générés par l'IA, comme dans la preuve annoncée par Open AI de l'explosion des solutions des équations de Navier-Stokes. Dans ce processus, un système d'IA traduit le texte d'une langue naturelle vers un langage formel tel que Lean. Une fois cette traduction effectuée, l'argument exprimé dans le langage formel peut être facilement vérifié mécaniquement.

Le but de cet article est de démontrer pourquoi ce processus peut n'offrir aucune confiance dans l'argument original en langue naturelle, en raison des diverses difficultés à effectuer une traduction sémantiquement fidèle. En particulier, nous soulignons que le problème de résolution des ambiguïtés dans le texte mathématique en langue naturelle, nécessaire pour fournir une traduction sémantiquement fidèle, est arbitrairement élevé dans la hiérarchie de l'indice de complexité de résolubilité (SCI)/hiérarchie arithmétique (le SCI = ∞). Ainsi, de manière informelle, fournir une autoformalisation sémantiquement fidèle par l'IA est plus difficile que tout problème computationnel, y compris le problème de l'arrêt (qui a SCI = 1).

Pour démontrer l'effet de ce résultat, nous fournissons plusieurs exemples de mauvaises traductions par l'IA d'énoncés et de preuves en langue naturelle vers Lean dans la pratique, entraînant des décalages entre les preuves en langue naturelle et leurs 'vérifications' Lean. Ceux-ci incluent la preuve de Navier-Stokes annoncée par Open AI. En particulier, nous montrons que la preuve formalisée en Lean ne correspond pas à la preuve en langue naturelle de l'explosion des solutions des équations de Navier-Stokes.

स्वतः औपचारिकीकरण का उपयोग गणितीय ग्रंथों को सत्यापित करने के लिए तेजी से किया जा रहा है, जिसमें AI द्वारा उत्पन्न ग्रंथ भी शामिल हैं, जैसा कि Open AI द्वारा Navier-Stokes समीकरणों के समाधानों के विस्फोट के घोषित प्रमाण में है। इस प्रक्रिया में, एक AI प्रणाली पाठ को प्राकृतिक भाषा से एक औपचारिक भाषा जैसे Lean में अनुवाद करती है। एक बार यह अनुवाद हो जाने के बाद, औपचारिक भाषा में व्यक्त तर्क को आसानी से यांत्रिक रूप से सत्यापित किया जा सकता है। इस लेख का उद्देश्य यह प्रदर्शित करना है कि यह प्रक्रिया मूल प्राकृतिक भाषा के तर्क में विश्वास क्यों प्रदान नहीं कर सकती है, अर्थपूर्ण रूप से वफादार अनुवाद करने में विभिन्न कठिनाइयों के कारण। विशेष रूप से, हम इस बात पर प्रकाश डालते हैं कि गणितीय प्राकृतिक भाषा पाठ में अस्पष्टताओं को हल करने की समस्या, जो अर्थपूर्ण रूप से वफादार अनुवाद प्रदान करने के लिए आवश्यक है, समाधान जटिलता सूचकांक (SCI) पदानुक्रम/अंकगणितीय पदानुक्रम में मनमाने ढंग से उच्च है (SCI = ∞)। इसलिए, अनौपचारिक रूप से, अर्थपूर्ण रूप से वफादार AI स्वतः औपचारिकीकरण प्रदान करना हाल्टिंग समस्या (जिसका SCI = 1 है) सहित किसी भी कम्प्यूटेशनल समस्या से अधिक कठिन है। इस परिणाम के प्रभाव को प्रदर्शित करने के लिए हम व्यवहार में AI द्वारा प्राकृतिक भाषा के कथनों और प्रमाणों के Lean में गलत अनुवाद के कई उदाहरण प्रदान करते हैं, जिसके परिणामस्वरूप प्राकृतिक भाषा के प्रमाणों और उनके Lean 'सत्यापनों' के बीच बेमेल होता है। इनमें Open AI द्वारा घोषित Navier-Stokes प्रमाण शामिल है। विशेष रूप से, हम दिखाते हैं कि औपचारिक Lean प्रमाण Navier-Stokes समीकरणों के समाधानों के विस्फोट के प्राकृतिक भाषा के प्रमाण से संबंधित नहीं है।

Autoformalisasi semakin digunakan untuk memverifikasi teks matematika, termasuk yang dihasilkan oleh AI, seperti dalam bukti yang diumumkan oleh Open AI tentang ledakan solusi persamaan Navier-Stokes. Dalam proses ini, sistem AI menerjemahkan teks dari bahasa alami ke bahasa formal seperti Lean. Setelah terjemahan ini selesai, argumen yang diungkapkan dalam bahasa formal dapat dengan mudah diverifikasi secara mekanis.

Tujuan artikel ini adalah untuk menunjukkan mengapa proses ini mungkin tidak memberikan kepercayaan pada argumen bahasa alami asli, karena berbagai kesulitan dalam melakukan terjemahan yang setia secara semantik. Secara khusus, kami menyoroti bahwa masalah menyelesaikan ambiguitas dalam teks matematika bahasa alami, yang diperlukan untuk memberikan terjemahan yang setia secara semantik, secara sewenang-wenang tinggi dalam hierarki Indeks Kompleksitas Solvabilitas (SCI)/hierarki aritmetika (SCI = ∞). Oleh karena itu, secara informal, menyediakan autoformalisasi AI yang setia secara semantik lebih sulit daripada masalah komputasi apa pun termasuk masalah penghentian (yang memiliki SCI = 1).

Untuk menunjukkan efek dari hasil ini, kami memberikan beberapa contoh kesalahan terjemahan AI dari pernyataan dan bukti bahasa alami ke Lean dalam praktiknya, yang mengakibatkan ketidakcocokan antara bukti bahasa alami dan 'verifikasi' Lean mereka. Ini termasuk bukti Navier-Stokes yang diumumkan oleh Open AI. Secara khusus, kami menunjukkan bahwa bukti Lean yang diformalkan tidak sesuai dengan bukti bahasa alami dari ledakan solusi persamaan Navier-Stokes.

自動形式化は、Open AIが発表したNavier-Stokes方程式の解の爆発の証明のように、AIによって生成されたものを含む数学テキストの検証にますます使用されています。このプロセスでは、AIシステムがテキストを自然言語からLeanなどの形式言語に翻訳します。この翻訳が完了すると、形式言語で表現された議論は機械的に簡単に検証できます。この記事の目的は、意味的に忠実な翻訳を行う際のさまざまな困難のために、このプロセスが元の自然言語の議論に信頼を提供できない理由を示すことです。特に、意味的に忠実な翻訳を提供するために必要な数学的自然言語テキストの曖昧さを解決する問題は、可解性複雑性指数（SCI）階層/算術階層で任意に高い（SCI = ∞）ことを強調します。したがって、非公式に言えば、意味的に忠実なAI自動形式化を提供することは、停止問題（SCI = 1）を含むあらゆる計算問題よりも困難です。この結果の効果を示すために、実際にAIが自然言語のステートメントと証明をLeanに誤訳したいくつかの例を提供し、自然言語の証明とそのLeanの「検証」との間に不一致が生じることを示します。これらには、Open AIが発表したNavier-Stokes証明が含まれます。特に、形式化されたLean証明がNavier-Stokes方程式の解の爆発の自然言語の証明に対応していないことを示します。

A autoformalização é cada vez mais usada para verificar textos matemáticos, incluindo aqueles gerados por IA, como na prova anunciada pela Open AI da explosão de soluções para as equações de Navier-Stokes. Nesse processo, um sistema de IA traduz o texto de uma língua natural para uma língua formal como Lean. Uma vez feita essa tradução, o argumento expresso na língua formal pode ser facilmente verificado mecanicamente.

O objetivo deste artigo é demonstrar por que esse processo pode não oferecer confiança no argumento original em língua natural, devido às várias dificuldades em realizar a tradução semanticamente fiel. Em particular, destacamos que o problema de resolver ambiguidades em texto matemático em língua natural, necessário para fornecer uma tradução semanticamente fiel, é arbitrariamente alto na hierarquia do Índice de Complexidade de Solubilidade (SCI)/hierarquia aritmética (o SCI = ∞). Portanto, informalmente, fornecer autoformalização semanticamente fiel por IA é mais difícil do que qualquer problema computacional, incluindo o problema da parada (que tem SCI = 1).

Para demonstrar o efeito desse resultado, fornecemos vários exemplos de traduções incorretas de IA de declarações e provas em língua natural para Lean na prática, resultando em incompatibilidades entre as provas em língua natural e suas 'verificações' em Lean. Estes incluem a prova de Navier-Stokes anunciada pela Open AI. Em particular, mostramos que a prova formalizada em Lean não corresponde à prova em língua natural da explosão de soluções para as equações de Navier-Stokes.

Автоформализация все чаще используется для проверки математических текстов, включая те, которые генерируются ИИ, как в объявленном Open AI доказательстве взрыва решений уравнений Навье-Стокса. В этом процессе система ИИ переводит текст с естественного языка на формальный язык, такой как Lean. После завершения этого перевода аргумент, выраженный на формальном языке, может быть легко механически проверен. Цель этой статьи — продемонстрировать, почему этот процесс может не давать уверенности в исходном аргументе на естественном языке из-за различных трудностей в выполнении семантически точного перевода. В частности, мы подчеркиваем, что проблема разрешения неоднозначностей в математическом тексте на естественном языке, необходимая для обеспечения семантически точного перевода, произвольно высока в иерархии индекса сложности разрешимости (SCI)/арифметической иерархии (SCI = ∞). Таким образом, неформально говоря, обеспечение семантически точной автоформализации с помощью ИИ сложнее любой вычислительной проблемы, включая проблему остановки (которая имеет SCI = 1). Чтобы продемонстрировать влияние этого результата, мы приводим несколько примеров неправильных переводов ИИ утверждений и доказательств на естественном языке в Lean на практике, что приводит к несоответствиям между доказательствами на естественном языке и их «проверками» в Lean. К ним относится объявленное Open AI доказательство Навье-Стокса. В частности, мы показываем, что формализованное доказательство в Lean не соответствует доказательству на естественном языке взрыва решений уравнений Навье-Стокса.

自动形式化越来越多地用于验证数学文本，包括AI生成的文本，例如Open AI宣布的纳维-斯托克斯方程解的爆破证明。在这个过程中，AI系统将文本从自然语言翻译成形式语言（如Lean）。一旦完成翻译，形式语言表达的论证可以轻松地通过机械方式验证。本文旨在说明为什么这个过程可能无法保证原始自然语言论证的可信度，因为在进行语义忠实翻译时存在各种困难。特别是，我们强调解决数学自然语言文本中的歧义问题（这是提供语义忠实翻译所必需的）在可解性复杂度指数（SCI）层次/算术层次中任意高（SCI = ∞）。因此，非正式地说，提供语义忠实的AI自动形式化比任何计算问题（包括停机问题，其SCI = 1）都更难。为了展示这一结果的影响，我们提供了几个AI在实践中将自然语言陈述和证明误译为Lean的例子，导致自然语言证明与其Lean“验证”之间的不匹配。这些包括Open AI宣布的纳维-斯托克斯证明。特别是，我们展示了形式化的Lean证明并不对应于纳维-斯托克斯方程解的爆破的自然语言证明。