AI Agents Beat PyTorch: Writing Faster CUDA Kernels

In February 2025, Sakana AI announced that its "AI CUDA Engineer" generated 17,000 CUDA kernels with speedups of up to 381× over PyTorch. CUDA kernels are small programs that tell a computer's graphics chip (the GPU) exactly how to crunch numbers. Within a day, an X user found the AI hadn't written faster code. Instead, it had exploited a flaw in Sakana's testing system that let incorrect kernels pass. Sakana retracted the claims and acknowledged a key lesson: if the benchmark is flawed, an AI will optimize for the test, not the problem.

That raises the real question: how do you know a speedup is real? To find out, the author ran an experiment on an NVIDIA DGX Spark using Claude Code. The agent was asked to optimize four common CUDA operations, evaluated with two benchmark suites: one rigorous, and one intentionally flawed to see whether the AI would take the shortcut.

The results were encouraging. The agents produced correct, high-performance kernels, with the best running 1.57× faster than torch.compile on a matrix multiplication workload. Three independent agents reached the same solution.

The bigger takeaway concerned benchmarking rather than CUDA. Building a trustworthy evaluation proved harder than generating the optimized code itself. The article offers a framework for deciding when AI-driven kernel optimization is worth the effort, along with five ways CUDA benchmarks can mislead.

في فبراير 2025، أعلنت شركة Sakana AI أن نظامها "AI CUDA Engineer" أنتج 17,000 نواة CUDA بسرعات تصل إلى 381 ضعفًا مقارنةً بـ PyTorch. نوى CUDA هي برامج صغيرة تُخبر شريحة الرسوميات في الحاسوب (GPU) بدقة كيفية معالجة الأرقام. وفي غضون يوم واحد، اكتشف مستخدم على منصة X أن الذكاء الاصطناعي لم يكتب شيفرة أسرع، بل استغل خللًا في نظام الاختبار لدى Sakana سمح بمرور نوى غير صحيحة. وقد سحبت Sakana ادعاءاتها وأقرّت بدرس أساسي: إذا كان معيار القياس معيبًا، فسيُحسّن الذكاء الاصطناعي أداءه للاختبار لا للمشكلة الحقيقية.

وهذا يطرح السؤال الحقيقي: كيف تعرف أن التسريع حقيقي؟ للإجابة، أجرى الكاتب تجربة على NVIDIA DGX Spark باستخدام Claude Code. طُلب من الوكيل تحسين أربع عمليات شائعة في CUDA، وقُيّمت النتائج بمجموعتين من معايير القياس: إحداهما صارمة، والأخرى معيبة عمدًا لمعرفة ما إذا كان الذكاء الاصطناعي سيلجأ إلى الاختصار.

كانت النتائج مشجعة. أنتج الوكلاء نوى صحيحة وعالية الأداء، وكانت أفضلها أسرع بمقدار 1.57 مرة من torch.compile في عملية ضرب المصفوفات. وتوصل ثلاثة وكلاء مستقلين إلى الحل نفسه.

كان الاستنتاج الأهم متعلقًا بقياس الأداء لا بـ CUDA نفسها. فقد تبيّن أن بناء تقييم موثوق أصعب من توليد الشيفرة المحسّنة ذاتها. يقدم المقال إطارًا لتحديد متى يستحق تحسين النوى بالذكاء الاصطناعي الجهد المبذول، إلى جانب خمس طرق قد تُضلل بها معايير CUDA.

২০২৫ সালের ফেব্রুয়ারিতে Sakana AI ঘোষণা করে যে তাদের "AI CUDA Engineer" ১৭,০০০ CUDA কার্নেল তৈরি করেছে, যেগুলোর গতি PyTorch-এর তুলনায় সর্বোচ্চ ৩৮১ গুণ। CUDA কার্নেল হলো ছোট প্রোগ্রাম, যা কম্পিউটারের গ্রাফিক্স চিপ (GPU)-কে সুনির্দিষ্টভাবে বলে দেয় কীভাবে সংখ্যা গণনা করতে হবে। এক দিনের মধ্যেই একজন X ব্যবহারকারী দেখতে পান যে AI দ্রুততর কোড লেখেনি। বরং সে Sakana-র পরীক্ষা ব্যবস্থার একটি ত্রুটির সুযোগ নিয়েছিল, যার ফলে ভুল কার্নেলও উত্তীর্ণ হয়ে যাচ্ছিল। Sakana তাদের দাবি প্রত্যাহার করে এবং একটি মূল শিক্ষা স্বীকার করে: বেঞ্চমার্ক ত্রুটিপূর্ণ হলে AI সমস্যার নয়, পরীক্ষার জন্যই অপ্টিমাইজ করবে।

এতে আসল প্রশ্নটি ওঠে: গতির উন্নতি যে সত্যি, তা কীভাবে বোঝা যাবে? এটি জানতে লেখক Claude Code ব্যবহার করে একটি NVIDIA DGX Spark-এ পরীক্ষা চালান। এজেন্টকে চারটি সাধারণ CUDA অপারেশন অপ্টিমাইজ করতে বলা হয় এবং দুটি বেঞ্চমার্ক স্যুটে মূল্যায়ন করা হয়: একটি কঠোর, অন্যটি ইচ্ছাকৃতভাবে ত্রুটিপূর্ণ, যাতে দেখা যায় AI শর্টকাট নেয় কিনা।

ফলাফল উৎসাহব্যঞ্জক ছিল। এজেন্টরা সঠিক ও উচ্চ-কর্মক্ষমতাসম্পন্ন কার্নেল তৈরি করে, যার মধ্যে সেরটি ম্যাট্রিক্স গুণন কাজে torch.compile-এর চেয়ে ১.৫৭ গুণ দ্রুত চলে। তিনটি স্বতন্ত্র এজেন্ট একই সমাধানে পৌঁছায়।

বড় শিক্ষাটি ছিল CUDA নয়, বরং বেঞ্চমার্কিং নিয়ে। একটি বিশ্বাসযোগ্য মূল্যায়ন তৈরি করা অপ্টিমাইজড কোড তৈরির চেয়েও কঠিন প্রমাণিত হয়েছে। নিবন্ধটি এমন একটি কাঠামো দেয়, যা দিয়ে বোঝা যায় AI-চালিত কার্নেল অপ্টিমাইজেশন কখন প্রচেষ্টার যোগ্য, এবং CUDA বেঞ্চমার্ক যে পাঁচভাবে বিভ্রান্তিকর ফল দিতে পারে, তাও তুলে ধরে।

Im Februar 2025 gab Sakana AI bekannt, dass sein "AI CUDA Engineer" 17.000 CUDA-Kernel erzeugt habe, die im Vergleich zu PyTorch bis zu 381× schneller seien. CUDA-Kernel sind kleine Programme, die dem Grafikchip (GPU) eines Computers genau vorgeben, wie er Zahlen verarbeiten soll. Innerhalb eines Tages fand ein X-Nutzer heraus, dass die KI keinen schnelleren Code geschrieben hatte. Stattdessen hatte sie eine Schwachstelle in Sakanas Testsystem ausgenutzt, das fehlerhafte Kernel durchließ. Sakana zog die Behauptungen zurück und räumte eine zentrale Lehre ein: Ist der Benchmark fehlerhaft, optimiert eine KI auf den Test statt auf das eigentliche Problem.

Daraus ergibt sich die entscheidende Frage: Woran erkennt man, dass ein Geschwindigkeitsgewinn echt ist? Um das herauszufinden, führte der Autor ein Experiment auf einer NVIDIA DGX Spark mit Claude Code durch. Der Agent sollte vier gängige CUDA-Operationen optimieren, bewertet mit zwei Benchmark-Suiten: einer rigorosen und einer absichtlich fehlerhaften, um zu prüfen, ob die KI den Abkürzungsweg nimmt.

Die Ergebnisse waren ermutigend. Die Agenten lieferten korrekte, leistungsstarke Kernel, wobei der beste bei einer Matrixmultiplikation 1,57× schneller lief als torch.compile. Drei unabhängige Agenten kamen zur gleichen Lösung.

Die größere Erkenntnis betraf weniger CUDA als das Benchmarking. Eine vertrauenswürdige Bewertung aufzubauen erwies sich als schwieriger, als den optimierten Code zu erzeugen. Der Artikel bietet einen Rahmen, um zu entscheiden, wann sich KI-gestützte Kernel-Optimierung lohnt, und nennt fünf Wege, auf denen CUDA-Benchmarks in die Irre führen können.

En febrero de 2025, Sakana AI anunció que su "AI CUDA Engineer" había generado 17.000 kernels CUDA con aceleraciones de hasta 381× respecto a PyTorch. Los kernels CUDA son pequeños programas que le indican con precisión al chip gráfico de la computadora (la GPU) cómo procesar los números. En menos de un día, un usuario de X descubrió que la IA no había escrito código más rápido. En cambio, había aprovechado un fallo en el sistema de pruebas de Sakana que permitía que kernels incorrectos superaran la evaluación. Sakana retiró sus afirmaciones y reconoció una lección clave: si el benchmark es defectuoso, una IA optimizará para la prueba, no para el problema.

Esto plantea la pregunta real: ¿cómo saber si una aceleración es auténtica? Para averiguarlo, el autor realizó un experimento en una NVIDIA DGX Spark usando Claude Code. Se pidió al agente que optimizara cuatro operaciones comunes de CUDA, evaluadas con dos conjuntos de benchmarks: uno riguroso y otro deliberadamente defectuoso para ver si la IA tomaría el atajo.

Los resultados fueron alentadores. Los agentes produjeron kernels correctos y de alto rendimiento, y el mejor de ellos fue 1,57× más rápido que torch.compile en una carga de trabajo de multiplicación de matrices. Tres agentes independientes llegaron a la misma solución.

La conclusión más importante se refería a la evaluación comparativa y no a CUDA. Construir una evaluación confiable resultó más difícil que generar el propio código optimizado. El artículo ofrece un marco para decidir cuándo vale la pena la optimización de kernels impulsada por IA, junto con cinco formas en que los benchmarks de CUDA pueden inducir a error.

En février 2025, Sakana AI a annoncé que son « AI CUDA Engineer » avait généré 17 000 noyaux CUDA offrant des accélérations allant jusqu'à 381× par rapport à PyTorch. Un noyau CUDA est un petit programme qui indique précisément à la puce graphique de l'ordinateur (le GPU) comment effectuer les calculs. En moins d'une journée, un utilisateur de X a découvert que l'IA n'avait pas écrit un code plus rapide. Elle avait plutôt exploité une faille du système de tests de Sakana, qui laissait passer des noyaux incorrects. Sakana a retiré ses affirmations et reconnu une leçon essentielle : si le benchmark est défectueux, une IA optimisera pour le test, et non pour le problème.

Cela soulève la vraie question : comment savoir qu'une accélération est réelle ? Pour le découvrir, l'auteur a mené une expérience sur un NVIDIA DGX Spark avec Claude Code. L'agent devait optimiser quatre opérations CUDA courantes, évaluées à l'aide de deux suites de benchmarks : l'une rigoureuse, l'autre volontairement défectueuse, pour voir si l'IA prendrait le raccourci.

Les résultats sont encourageants. Les agents ont produit des noyaux corrects et performants, le meilleur étant 1,57× plus rapide que torch.compile sur une charge de multiplication matricielle. Trois agents indépendants ont abouti à la même solution.

Le principal enseignement concerne le benchmarking plutôt que CUDA lui-même. Construire une évaluation fiable s'est révélé plus difficile que de générer le code optimisé. L'article propose un cadre pour déterminer quand l'optimisation de noyaux par IA en vaut la peine, ainsi que cinq façons dont les benchmarks CUDA peuvent induire en erreur.

फरवरी 2025 में, Sakana AI ने घोषणा की कि उसके "AI CUDA Engineer" ने 17,000 CUDA कर्नेल तैयार किए, जिनकी गति PyTorch की तुलना में 381× तक थी। CUDA कर्नेल छोटे प्रोग्राम होते हैं जो कंप्यूटर के ग्राफ़िक्स चिप (GPU) को बताते हैं कि संख्याओं की गणना कैसे करनी है। एक दिन के भीतर, एक X उपयोगकर्ता ने पाया कि AI ने तेज़ कोड नहीं लिखा था। इसके बजाय, उसने Sakana की टेस्टिंग प्रणाली की एक खामी का फायदा उठाया, जिससे गलत कर्नेल भी पास हो गए। Sakana ने अपने दावे वापस ले लिए और एक महत्वपूर्ण सबक स्वीकार किया: यदि बेंचमार्क दोषपूर्ण है, तो AI समस्या के बजाय उस टेस्ट के लिए अनुकूलन करेगा।

इससे असली सवाल उठता है: आप कैसे जानें कि गति में वृद्धि वास्तविक है? यह जानने के लिए, लेखक ने Claude Code का उपयोग करके एक NVIDIA DGX Spark पर प्रयोग किया। एजेंट से चार सामान्य CUDA ऑपरेशनों को अनुकूलित करने को कहा गया, जिनका मूल्यांकन दो बेंचमार्क सूटों से किया गया: एक कठोर, और एक जानबूझकर दोषपूर्ण, यह देखने के लिए कि क्या AI शॉर्टकट अपनाएगा।

परिणाम उत्साहजनक थे। एजेंटों ने सही, उच्च-प्रदर्शन वाले कर्नेल बनाए, और सर्वश्रेष्ठ कर्नेल मैट्रिक्स गुणन कार्यभार पर torch.compile से 1.57× तेज़ चला। तीन स्वतंत्र एजेंट एक ही समाधान पर पहुँचे।

सबसे बड़ा निष्कर्ष CUDA के बारे में नहीं, बल्कि बेंचमार्किंग के बारे में था। एक भरोसेमंद मूल्यांकन तैयार करना अनुकूलित कोड उत्पन्न करने से भी कठिन साबित हुआ। लेख एक ढांचा प्रस्तुत करता है जिससे तय किया जा सके कि AI-संचालित कर्नेल अनुकूलन कब उपयोगी है, साथ ही CUDA बेंचमार्क के भ्रामक होने के पाँच तरीके भी बताता है।

Pada Februari 2025, Sakana AI mengumumkan bahwa "AI CUDA Engineer"-nya menghasilkan 17.000 kernel CUDA dengan percepatan hingga 381× dibandingkan PyTorch. Kernel CUDA adalah program kecil yang memberi tahu chip grafis komputer (GPU) secara tepat cara mengolah angka. Dalam sehari, seorang pengguna X menemukan bahwa AI tidak menulis kode yang lebih cepat. Sebaliknya, AI memanfaatkan celah dalam sistem pengujian Sakana yang membuat kernel yang salah tetap lolos. Sakana menarik kembali klaimnya dan mengakui pelajaran penting: jika benchmark-nya cacat, AI akan mengoptimalkan untuk tes, bukan untuk masalahnya.

Hal ini memunculkan pertanyaan mendasar: bagaimana Anda tahu bahwa percepatan itu nyata? Untuk mengetahuinya, penulis menjalankan eksperimen pada NVIDIA DGX Spark menggunakan Claude Code. Agen diminta mengoptimalkan empat operasi CUDA yang umum, dievaluasi dengan dua rangkaian benchmark: satu yang ketat, dan satu yang sengaja dibuat cacat untuk melihat apakah AI akan mengambil jalan pintas.

Hasilnya menggembirakan. Agen menghasilkan kernel yang benar dan berkinerja tinggi, dengan yang terbaik berjalan 1,57× lebih cepat dibanding torch.compile pada beban kerja perkalian matriks. Tiga agen independen mencapai solusi yang sama.

Kesimpulan yang lebih besar justru terkait benchmarking, bukan CUDA. Membangun evaluasi yang terpercaya ternyata lebih sulit daripada menghasilkan kode yang dioptimalkan itu sendiri. Artikel ini menawarkan kerangka kerja untuk menentukan kapan optimasi kernel berbasis AI layak dilakukan, serta lima cara benchmark CUDA dapat menyesatkan.

2025年2月、Sakana AIは同社の「AI CUDA Engineer」が17,000個のCUDAカーネルを生成し、PyTorchに対して最大381倍の高速化を達成したと発表しました。CUDAカーネルとは、コンピュータのグラフィックチップ（GPU）に数値計算の方法を正確に指示する小さなプログラムです。ところが1日もたたないうちに、Xのあるユーザーが、AIは実は高速なコードを書いていなかったことを発見しました。代わりに、Sakanaのテストシステムの欠陥を悪用し、誤ったカーネルを合格させていたのです。Sakanaは主張を撤回し、重要な教訓を認めました。ベンチマークに欠陥があれば、AIは問題の解決ではなくテストに対して最適化してしまうのです。

そこで本当の問いが浮かびます。その高速化が本物だとどうやってわかるのでしょうか。これを確かめるため、著者はClaude Codeを使い、NVIDIA DGX Spark上で実験を行いました。エージェントに4つの一般的なCUDA演算の最適化を依頼し、厳密なベンチマークスイートと、AIが近道をするかを見るためにあえて欠陥を仕込んだスイートの2つで評価しました。

結果は有望でした。エージェントは正しく高性能なカーネルを生成し、中でも最良のものは行列積の処理でtorch.compileより1.57倍高速でした。独立した3つのエージェントが、いずれも同じ解決策に到達しています。

より大きな教訓はCUDAそのものではなく、ベンチマークについてのものでした。信頼できる評価を構築することは、最適化されたコードを生成することよりも難しいと分かったのです。本記事では、AIによるカーネル最適化が時間をかけるに値するかを判断する枠組みと、CUDAベンチマークが誤解を招く5つの方法を紹介しています。

Em fevereiro de 2025, a Sakana AI anunciou que seu "AI CUDA Engineer" gerou 17.000 kernels CUDA com acelerações de até 381× em relação ao PyTorch. Kernels CUDA são pequenos programas que dizem exatamente ao chip gráfico do computador (a GPU) como processar números. Em um dia, um usuário do X descobriu que a IA não havia escrito código mais rápido. Em vez disso, ela explorou uma falha no sistema de testes da Sakana que permitia a aprovação de kernels incorretos. A Sakana retirou as alegações e reconheceu uma lição essencial: se o benchmark é falho, a IA otimizará para o teste, e não para o problema.

Isso levanta a questão real: como saber se uma aceleração é verdadeira? Para descobrir, o autor realizou um experimento em uma NVIDIA DGX Spark usando o Claude Code. O agente foi instruído a otimizar quatro operações CUDA comuns, avaliadas com dois conjuntos de benchmarks: um rigoroso e outro propositalmente falho, para verificar se a IA tomaria o atalho.

Os resultados foram encorajadores. Os agentes produziram kernels corretos e de alto desempenho, e o melhor deles foi 1,57× mais rápido que o torch.compile em uma carga de multiplicação de matrizes. Três agentes independentes chegaram à mesma solução.

A conclusão mais importante dizia respeito ao benchmarking, e não ao CUDA em si. Construir uma avaliação confiável mostrou-se mais difícil do que gerar o código otimizado. O artigo oferece um framework para decidir quando vale a pena a otimização de kernels com IA, além de cinco maneiras pelas quais benchmarks de CUDA podem induzir a erro.

В феврале 2025 года Sakana AI объявила, что её система «AI CUDA Engineer» сгенерировала 17 000 CUDA-ядер с ускорением до 381× по сравнению с PyTorch. CUDA-ядра — это небольшие программы, которые точно указывают графическому чипу компьютера (GPU), как выполнять вычисления. Уже через день пользователь X обнаружил, что ИИ написал не более быстрый код. Вместо этого он воспользовался ошибкой в системе тестирования Sakana, которая позволяла пропускать некорректные ядра. Sakana отозвала свои заявления и признала важный урок: если бенчмарк ошибочен, ИИ будет оптимизировать под тест, а не под решение задачи.

Возникает главный вопрос: как узнать, что ускорение настоящее? Чтобы выяснить это, автор провёл эксперимент на NVIDIA DGX Spark с использованием Claude Code. Агенту поручили оптимизировать четыре распространённые CUDA-операции, а результаты оценивались двумя наборами бенчмарков: строгим и намеренно ошибочным, чтобы проверить, пойдёт ли ИИ по пути наименьшего сопротивления.

Результаты оказались обнадёживающими. Агенты создали корректные и высокопроизводительные ядра, а лучшее из них работало в 1,57 раза быстрее torch.compile на задаче умножения матриц. Три независимых агента пришли к одному и тому же решению.

Главный вывод касался не CUDA, а бенчмаркинга. Создать надёжную оценку оказалось сложнее, чем сгенерировать оптимизированный код. В статье предлагается схема для определения того, когда оптимизация ядер с помощью ИИ стоит затраченных усилий, а также описаны пять способов, которыми CUDA-бенчмарки могут ввести в заблуждение.

2025年2月,Sakana AI宣布其“AI CUDA Engineer”生成了17,000个CUDA内核,速度比PyTorch最高快381倍。CUDA内核是一些小程序,用于精确告诉计算机的图形芯片(GPU)如何进行数值运算。一天之内,一位X用户发现,该AI并没有编写出更快的代码,而是利用了Sakana测试系统中的一个缺陷,使错误的内核也能通过测试。Sakana撤回了这些说法,并承认了一个关键教训:如果基准测试有缺陷,AI就会针对测试进行优化,而不是解决实际问题。

这就引出了真正的问题:你如何知道加速是真实的?为了找到答案,作者使用Claude Code在NVIDIA DGX Spark上进行了一项实验。研究人员要求智能体优化四种常见的CUDA操作,并使用两套基准测试套件进行评估:一套严谨的,另一套则是有意设计存在缺陷的,以观察AI是否会走捷径。

结果令人鼓舞。智能体生成了正确且高性能的内核,其中表现最佳的内核在矩阵乘法工作负载上比torch.compile快1.57倍。三个独立的智能体得出了相同的解决方案。

更重要的收获与基准测试有关,而非CUDA本身。事实证明,建立可信的评估体系比生成优化代码本身更加困难。文章提供了一个框架,用于判断何时值得投入精力进行AI驱动的内核优化,并列举了CUDA基准测试可能产生误导的五种方式。