OpenAI mistranslated mathematics into code for its Navier-Stokes proof

AI-generated proofs are often checked using a process called formalisation. OpenAI appears to have made a subtle error when publishing its proofs of the Navier-Stokes problem, a team of mathematicians has claimed. The error doesn't mean that the proofs are incorrect or that OpenAI hasn't correctly solved the problem, but it does call into question whether mathematical results generated by AI models can always be relied on.

"What has to be done with all of these large language model-generated proofs is that they will have to be read by humans, and this creates an enormous extra burden on mathematicians," says Anders Hansen at the University of Cambridge. On 8 September, OpenAI announced that it had found a solution to the Navier-Stokes problem, one of the most famous open problems in mathematics. It published the proof in two versions – one written in "natural language" and another written in the computer code Lean.

The problem is, say Hansen and his team, that the two proofs don't match. "This formalisation process is trying to replace peer review," says team member Fabian Circelli, also at the University of Cambridge. "Peer review would mean that human eyes look at the proofs. But what we've shown in this paper is that using this type of AI auto-formalisation can't serve the same purpose."

The team's specific claim hinges on part of the proofs called Lemma 8.6. In the natural-language proof, an equation requires a value be below m + 4, while in the Lean proof the equivalent value is below m + 5, which is mathematically weaker. OpenAI told New Scientist that it is aware of the mismatch and that this doesn't mean either proof is invalid.

غالبًا ما يتم التحقق من proofs generated بواسطة IA من خلال عملية تسمى formalisation. يبدو أن OpenAI ارتكبت خطأً خفيفًا عند نشر إثباتات مشكلة نافيير-ستوكس، وقد أفاد فريق من mathematicians. الخطأ لا يعني أن proofs هي خاطئة أو أن OpenAI لم يحل المشكلة بشكل صحيح، ولكنه يثير تساؤلات حول ما إذا كانت النتائج الرياضية الناتجة عن Models IA يمكن الاعتماد عليها دائمًا.

"ما يجب القيام به مع كل هذه proofs generated من قبل Models لغوية كبيرة هو أنه سيتعين على البشر قراءتها، وهذا يخلق عبئًا إضافيًا كبيرًا على mathematicians"، يقول Anders Hansen في جامعة كامبريدج. في 8 سبتمبر، أعلنت OpenAI أنها وجدت حلًا لمشكلة نافيير-ستوكس، وهي إحدى أشهر المشاكل المفتوحة في الرياضيات. نشرت الإثباتتين – نسخة بلغة "الطبيعية“ وأخرى مكتوبة في كود الكمبيوتر Lean.

المشكلة، كما يقول هانسن وفريقه، هي أن الإثباتين لا يتطابقان. "هذا process of formalisation يحاول استبدال review من قبل النظراء"، يقول عضو الفريق Fabian Circelli، أيضًا في جامعة كامبريدج. "إن review من قبل النظراء يعني أن ينظر البشر إلى proofs. لكننا أظهرنا في هذه الورقة أن استخدام هذا النوع من IA auto-formalisation لا يمكنه أداء الغرض نفسه."

ادعاء الفريق المحدد يتمحور حول أجزاء من الإثباتات تسمى Lemma 8.6. في proof اللغة الطبيعية، تتطلب معادلة أن يكون قيمة ما أقل من m + 4، بينما في proof Lean القيمة المكافئة أقل من m + 5، وهو ما هو أضعف رياضيًا. أخبر OpenAI New Scientist أنه على دراية بالخلل وأن هذا لا يعني أن أي من proofs غير صالح.

AI-জেনারেটেড প্রুফসকে সাধারণত formalisation প্রক্রিয়াটি ব্যবহার করে পরীক্ষা করা হয়। OpenAI apparently committed a subtle error while publishing its proofs of the Navier-Stokes problem, a team of mathematicians has claimed. The error does not mean that the proofs are incorrect or that OpenAI has not correctly solved the problem, but it does call into question whether mathematical results generated by AI models can always be relied on.

"যে সব এই বড় ভাষা মডেল দ্বারা জেনারেটেড প্রুফসকে মানবদের পড়া হবে, এবং এটি গণিতজেদের enormous অতিরিক্ত担负" বলে Anders Hansen University of Cambridge-তে। 8 সেপ্টেম্বর তারিখে, OpenAI ঘোষণা করল যে সে Navier-Stokes সমস্যার সমাধান খুঁজে পেয়েছে, যা গাণিতের সবচেয়ে বিখ্যাত খোলা সমস্যা之一। এটি দুই সংস্করণে প্রকাশিত করেছে – একটি "natural language" ভাষায় এবং অন্যটি কম্পিউটার কোড Lean ভাষায়।

সমস্যা হল, হানসন এবং তার দল বলছেন, দুটি প্রুফ মিল না করে। "এই formalisation প্রক্রিয়া peer review প্রতিস্থাপন করার চেষ্টা করছে" বলছেন দলের সদস্য Fabian Circelli,ও Cambridge University-তে। "Peer review অর্থায় মানব চোখ প্রুফস দেখবে। কিন্তু আমরা এই পেপারে যা দেখালে, যে ধরনের AI auto-formalisation একই উদ্দেশ্য সেবা করতে পারে না।"

দলের নির্দিষ্ট দাবি প্রুফs বলা অংশে টिका আছে, যা Lemma 8.6 নামে পরিচিত। প্রাকৃতিক ভাষার প্রুফে, একটি সমীকরণে একটি মানকে m + 4 এর নিচ হতে হবে, Mientras que Lean প্রুফে সমকক্ষ মান m + 5 এর নিচে হয়, যা গাণিতিকভাবে কমজোর। OpenAI New Scientist-কে জানালে যে সে এই মিসম্যাচের vě aware আছে এবং এর মানে যে কোনো প্রুফ অবৈধ নয়।

KI-generierte Beweise werden oft mit einem Prozess namens Formalisierung überprüft. OpenAI scheint einen subtilen Fehler begangen zu haben, als es seine Navier-Stokes-Problem-Beweise veröffentlichte, ein Team von Mathematikern behauptet. Der Fehler bedeutet nicht, dass die Beweise falsch sind oder dass OpenAI das Problem nicht korrekt gelöst hat, aber er wirft die Frage auf, ob von KI-Modellen generierte mathematische Ergebnisse immer vertraut werden können.

"Was bei all diesen von großen Sprachmodellen generierten Beweisen getan werden muss, ist, dass sie von Menschen gelesen werden müssen, und das schafft einen enormen zusätzlichen Aufwand für Mathematiker", sagt Anders Hansen an der University of Cambridge. Am 8. September verkündete OpenAI, es habe eine Lösung für das Navier-Stokes-Problem gefunden, eines der berühmtesten offenen Probleme der Mathematik. Es veröffentlichte den Beweis in zwei Versionen – einmal in "natürlicher Sprache“ und einmal in der Computercode Lean.

Das Problem, sagen Hansen und sein Team, ist, dass die beiden Beweise nicht übereinstimmen. "Dieser Formalisierungsprozess soll das Peer-Review ersetzen", sagt Teammitglied Fabian Circelli, ebenfalls an der University of Cambridge. "Peer-Review würde bedeuten, dass menschliche Augen die Beweise betrachten. Aber was wir in diesem Papier gezeigt haben, ist, dass diese Art der KI-auto-Formalisierung dieselbe Zweck nicht erfüllen kann."

Der spezifische Anspruch des Teams stützt sich auf Teile der Beweise, die Lemma 8.6 genannt werden. In der natürlichen Sprachversion erfordert eine Gleichung, dass ein Wert unter m + 4 liegt, während in der Lean-Version der entsprechende Wert unter m + 5 liegt, was mathematisch schwächer ist. OpenAI sagte dem New Scientist, es sei sich des Widerspruchs bewusst und dass dies nicht bedeutet, dass einer der Beweise ungültig ist.

Las pruebas generadas por IA a menudo se verifican mediante un proceso llamado formalización. OpenAI parece haber cometido un error sutil al publicar sus pruebas del problema de Navier-Stokes, un equipo de matemáticos ha afirmado. El error no significa que las pruebas sean incorrectas o que OpenAI no haya resuelto correctamente el problema, pero sí pone en duda si los resultados matemáticos generados por modelos de IA siempre pueden confiarse.

"Lo que debe hacerse con todas estas pruebas generadas por grandes modelos de lenguaje es que tendrán que ser leídas por humanos, lo que crea una enorme carga extra para los matemáticos", dice Anders Hansen en la Universidad de Cambridge. El 8 de septiembre, OpenAI anunció que había encontrado una solución al problema de Navier-Stokes, uno de los problemas abiertos más famosos de las matemáticas. Publicó la prueba en dos versiones – una escrita en "lenguaje natural" y otra escrita en el código informático Lean.

El problema es, dicen Hansen y su equipo, que las dos pruebas no coinciden. "Este proceso de formalización está intentando reemplazar la revisión por pares" dice el miembro del equipo Fabian Circelli, también en la Universidad de Cambridge. "La revisión por pares significaría que ojos humanos miren las pruebas. Pero lo que hemos mostrado en este papel es que usando este tipo de IA auto-formalización no puede servir el mismo propósito."

La reclamación específica del equipo se basa en partes de las pruebas llamadas Lemma 8.6. En la prueba de lenguaje natural, una ecuación requiere que un valor esté por debajo de m + 4, mientras que en la prueba de Lean el valor equivalente está por debajo de m + 5, lo que es matemáticamente más débil. OpenAI le dijo a New Scientist que es consciente del desajuste y que esto no significa que ninguna de las pruebas sea inválida.

Les proofs générées par IA sont souvent vérifiées à l'aide d'un processus appelé formalisation. OpenAI semble avoir commis une erreur subtile en publiant ses proofs du problème de Navier-Stokes, une équipe de mathématiciens a affirmé. L'erreur ne signifie pas que les proofs sont incorrectes ou que OpenAI n'a pas correctement résolu le problème, mais cela remet en question whether les résultats mathématiques générés par des modèles d'IA peuvent toujours être fiables.

"Ce qui doit être fait avec toutes ces proofs générées par des grands modèles de langage, c'est qu'elles devront être lues par des humains, ce qui crée une charge énorme supplémentaire pour les mathématiciens", dit Anders Hansen à l'Université de Cambridge. Le 8 septembre, OpenAI a annoncé avoir trouvé une solution au problème de Navier-Stokes, l'un des problèmes ouverts les plus célèbres des mathématiques. Il a publié la preuve en deux versions – l'une écrite en "langage naturel" et l'autre écrite dans le code informatique Lean.

Le problème, disent Hansen et son équipe, c'est que les deux proofs ne correspondent pas. "Ce processus de formalisation essaie de remplacer la révision par les pairs", dit le membre de l'équipe Fabian Circelli, également à l'Université de Cambridge. "La révision par les pairs signifierait que des yeux humains regardent les proofs. Mais ce que nous avons montré dans ce papier, c'est que l'utilisation de ce type d'IA auto-formalisation ne peut pas servir le même but."

La revendication spécifique de l'équipe repose sur des parties des proofs appelées Lemma 8.6. Dans la proof en langage naturel, une équation exige qu'une valeur soit inférieure à m + 4, tandis que dans la proof Lean la valeur équivalente est inférieure à m + 5, ce qui est mathématiquement plus faible. OpenAI a déclaré à New Scientist qu'il était conscient du désaccord et que cela ne signifie pas que l'une des proofs est invalide.

आईएनआई-जनरेटेड प्रूफ्स को अक्सर formalisation की प्रक्रिया के माध्यम से जांचा जाता है। OpenAI ने Navier-Stokes समस्या के अपने प्रमाण प्रकाशित करते समय एक सूक्ष्म त्रुटि की है, एक टीम के गणितज्ञों का दावा है। यह त्रुटि यह मत नहीं दर्शाती कि प्रमाण गलत हैं या OpenAI ने समस्या का सही समाधान नहीं किया है, लेकिन यह सवाल उठाता है कि क्या AI मॉडल द्वारा उत्पन्न गणितीय परिणाम हमेशा भरोसेमंद हो सकते हैं।

"इन सभी बड़े भाषा मॉडल द्वारा उत्पन्न प्रमाणों के साथ क्या करना है, यह इस बात पर होगा कि उन्हें मानवों द्वारा पढ़ा जाना होगा, जो गणितज्ञों पर एक विशाल अतिरिक्त बोझ डालता है," कहते हैं Anders Hansen at the University of Cambridge. 8 सितंबर को, OpenAI घोषणा की कि उसने Navier-Stokes समस्या का समाधान खोज लिया है, जो गणित के सबसे प्रसिद्ध खुले समस्याओं में से एक है। इसने दो संस्करण प्रकाशित किए हैं – एक "प्राकृतिक भाषा" में लिखा गया और दूसरा कंप्यूटर कोड Lean में लिखा गया।

समस्या है, हैनसन और उनकी टीम का कहना है, कि दो प्रमाण मैच नहीं करते। "यह formalisation प्रक्रिया peer review को बदलने की कोशिश कर रही है," टीम के सदस्य Fabian Circelli भी University of Cambridge में कहते हैं। "Peer review का मतलब है कि मानव आँखें प्रमाणों को देखती हैं। लेकिन हमने इस पेपर में जो दिखाया है, वह यह है कि इस प्रकार की AI auto-formalisation एक ही उद्देश्य की पूर्ति नहीं कर सकती।"

टीम का विशिष्ट दावा प्रमाण कहे जाने वाले भाग पर टिका है, जिसे Lemma 8.6 कहा जाता है। प्राकृतिक भाषा के प्रमाण में, एक समीकरण एक मान को m + 4 से कम होने की आवश्यकता होती है, जबकि Lean प्रमाण में समकक्ष मान m + 5 से कम होता है, जो गणितीय रूप से कमजोर है। OpenAI ने New Scientist को बताया कि इस असंगति के बारे में जागरूक है और इसका मतलब यह नहीं है कि कोई भी प्रमाण 무효 है।

Bukti yang dihasilkan AI sering dikonfirmasi menggunakan proses yang disebut formalisasi. OpenAI sepertinya membuat kesalahan halus saat mempublikasikan bukti masalah Navier-Stokes, sekelompok matematikawan mengklaim. Kesalahan ini tidak berarti bukti salah atau OpenAI belum tepat menyelesaikan masalah, tetapi mempertanyakan apakah hasil matematika yang dihasilkan model AI selalu dapat diandalkan.

"Semua bukti ini yang dihasilkan oleh model bahasa besar harus dibaca oleh manusia, dan ini menimpa beban besar extra bagi matematikawan", kata Anders Hansen di University of Cambridge. Pada 8 September, OpenAI mengumumkan bahwa telah menemukan solusi masalah Navier-Stokes, salah satu masalah terbuka paling terkenal dalam matematika. Ia menerbitkan bukti dalam dua versi – satu ditulis dalam "natural language" dan yang lain dalam kode komputer Lean.

Masalahnya, kata Hansen dan timnya, dua bukti tidak sesuai. "Proses formalisasi ini mencoba menggantikan review sesama", kata anggota tim Fabian Circelli, juga di University of Cambridge. "Peer review berarti orang melihat bukti. Tapi yang kita tunjukkan dalam paper ini adalah bahwa jenis AI auto-formalisasi ini tidak dapat layanan yang sama."

Klaim khusus tim ini bergantung pada bagian-bagian bukti yang disebut Lemma 8.6. Dalam bukti bahasa alami, persamaan memerlukan nilai di bawah m + 4, sementara dalam bukti Lean nilai setara di bawah m + 5, yang lebih lemah secara matematis. OpenAI mengatakan ke New Scientist bahwa sadar dengan ketidakseimpangan ini dan ini tidak berarti salah satu bukti tidak valid.

AI生成の証明は形式化のプロセスを使用してチェックされることがよくあります。OpenAIがナヴィエ-ストークス問題の証明を公開した際、微かな誤りを犯した可能性があると数学者チームが主張しています。この誤りは証明が誤りであることを意味したり、OpenAIが問題を正しく解いていないことを意味したりしませんが、AIモデルによって生成された数学的結果常に信頼できるとは限らないという疑問を提起しています。

「このような大規模言語モデルによって生成された証明は、人間によって読まれなければならず、これは数学者に膨大な負担をかけます」とAnders HansenはUniversity of Cambridgeで述べています。9月8日、OpenAIはナヴィエ-ストークス問題の解を発見したと発表し、数学で最も有名な未解決問題の一つであると同時に発表しました。2つのバージョンの証明を公開しました – 1つは"自然言語"で書かれ、もう1つはコンピュータコードLeanで書かれました。

問題は、ハンセンと彼のチームが言うところでは、2つの証明が一致しないことです。「この形式化プロセスは査読を置き換えようとしています」とチームメンバーのFabian CircelliもUniversity of Cambridgeに所属し述べています。「査読とは人間が証明を検証することですが、この種類のAI自動形式化は同じ目的を果たすことができないことを我々はこの論文で示しました」。

チームの具体的な主張は、証明の一部であるLemma 8.6に依存しています。自然言語の証明では、方程式がm + 4より小さくなければならないと要求しますが、Lean証明では対応する値はm + 5より小さく、これは数学的に弱いものです。OpenAIはNew Scientistに対し、この不一致に気づいており、どちらの証明も無効ではないと述べました。

Provas geradas por IA são frequentemente verificadas usando um processo chamado formalização. OpenAI parece ter cometido um erro sutil ao publicar suas provas do problema de Navier-Stokes, uma equipe de matemáticos tem afirmado. O erro não significa que as provas estão incorretas ou que OpenAI não resolveu corretamente o problema, mas chama em questão se os resultados matemáticos gerados por modelos de IA sempre podem ser confiados.

"O que tem que ser feito com todas essas provas geradas por grandes modelos de linguagem é que elas terão que ser lidas por humanos, e isso cria uma enorme carga extra para os matemáticos", diz Anders Hansen na Universidade de Cambridge. Em 8 de setembro, OpenAI anunciou que havia encontrado uma solução para o problema de Navier-Stokes, um dos problemas abertos mais famosos da matemática. Publicou a prova em duas versões – uma escrita em "linguagem natural" e outra escrita no código de computador Lean.

O problema, dizem Hansen e sua equipe, é que as duas provas não correspondem. "Este processo de formalização está tentando substituir a revisão por pares", diz o membro da equipe Fabian Circelli, também na Universidade de Cambridge. "A revisão por pares significaria que olhos humanos olhassem as provas. Mas o que mostramos neste papel é que usando este tipo de IA auto-formalização não pode servir ao mesmo propósito."

A reivindicação específica do time baseia-se em partes das provas chamadas Lemma 8.6. Na prova de linguagem natural, uma equação exige que um valor esteja abaixo de m + 4, enquanto na prova Lean o valor equivalente está abaixo de m + 5, o que é matematicamente mais fraco. OpenAI disse ao New Scientist que está ciente do descompasso e que isso não significa que nenhuma das provas seja inválida.

Доказательства, генерируемые ИИ, часто проверяются с помощью процесса, называемого формализацией. OpenAI, кажется, допустил неочевидную ошибку, опубликовав свои доказательства задачи Навиер-Стокса, команда математиков заявила. Ошибка не означает, что доказательства неверны или что OpenAI не решил задачу корректно, но это вызывает вопросы о том, можно ли всегда доверять математическим результатам, генерируемым моделями ИИ.

"Что нужно сделать со всеми этими доказательствами, генерированными большими языковыми моделями, — их придется читать людям, — это создает огромную дополнительную нагрузку на математиков", — говорит Anders Hansen в University of Cambridge. 8 сентября OpenAI объявил, что нашел решение задачи Навиер-Стокса, одной из самых известных открытых проблем в математике. Опубликовал доказательство в двух версиях — на "естественном языке" и другой, написанной на компьютерном коде Lean.

Проблема, как говорит Хансен и его команда, в том, что два доказательства не совпадают. "Этот процесс формализации пытается заменить рецензирование", — говорит соавтор Fabian Circelli, также в University of Cambridge. "Рецензирование означало бы, что люди-эксперты смотрят на доказательства. Но мы показали в этой работе, что использование такого типа ИИ-автоматической формализации не может выполнять ту же функцию."

Специфическое утверждение команды базируется на частях доказательств, называемых Lemma 8.6. В доказательстве на естественном языке уравнение требует, чтобы значение было ниже m + 4, а в доказательстве Lean эквивалентное значение ниже m + 5, что математически слабее. OpenAI сказал New Scientist, что aware of the mismatch и что это не означает, что какое-либо из доказательств недействительно.

AI生成的证明常需通过形式化检验。OpenAI似乎在发布其Navier-Stokes问题证明时犯了一个微妙的错误，数学家团队声称。这个错误并不意味着证明是错误的，也并不意味着OpenAI正确解决了问题，但这确实引发了人们是否可以始终依赖AI模型生成的数学结果的疑问。

"对这些大型语言模型生成的证明，必须让人类阅读，这给数学家带来了巨大的额外负担"，剑桥大学的安德斯·汉森说道。9月8日，OpenAI宣布找到了Navier-Stokes问题的解，这是数学中最著名的公开问题之一。它发布了两个版本——一个用"自然语言"写成，另一个用计算机代码Lean编写。

问题是，汉森和他的团队说，两个证明不匹配。"这种形式化过程试图替代同行评审"，团队成员法比安·西莱奇也在剑桥大学表示。"同行评审意味着人类审视证明。但我们在这篇论文中展示的就是，使用这种类型的AI自动形式化无法发挥同等作用。"

该团队的具体主张依赖于证明中称为Lemma 8.6的部分。在自然语言证明中，一个方程要求一个值低于m + 4，而在Lean证明中等价的值低于m + 5，这在数学上更弱。OpenAI告诉《新科学家》杂志，他们知道这种不匹配，且这并不意味着任何一个证明无效。