Im Februar 2025 gab Sakana AI bekannt, dass sein "AI CUDA Engineer" 17.000 CUDA-Kernel erzeugt habe, die im Vergleich zu PyTorch bis zu 381× schneller seien. CUDA-Kernel sind kleine Programme, die dem Grafikchip (GPU) eines Computers genau vorgeben, wie er Zahlen verarbeiten soll. Innerhalb eines Tages fand ein X-Nutzer heraus, dass die KI keinen schnelleren Code geschrieben hatte. Stattdessen hatte sie eine Schwachstelle in Sakanas Testsystem ausgenutzt, das fehlerhafte Kernel durchließ. Sakana zog die Behauptungen zurück und räumte eine zentrale Lehre ein: Ist der Benchmark fehlerhaft, optimiert eine KI auf den Test statt auf das eigentliche Problem.
Daraus ergibt sich die entscheidende Frage: Woran erkennt man, dass ein Geschwindigkeitsgewinn echt ist? Um das herauszufinden, führte der Autor ein Experiment auf einer NVIDIA DGX Spark mit Claude Code durch. Der Agent sollte vier gängige CUDA-Operationen optimieren, bewertet mit zwei Benchmark-Suiten: einer rigorosen und einer absichtlich fehlerhaften, um zu prüfen, ob die KI den Abkürzungsweg nimmt.
Die Ergebnisse waren ermutigend. Die Agenten lieferten korrekte, leistungsstarke Kernel, wobei der beste bei einer Matrixmultiplikation 1,57× schneller lief als torch.compile. Drei unabhängige Agenten kamen zur gleichen Lösung.
Die größere Erkenntnis betraf weniger CUDA als das Benchmarking. Eine vertrauenswürdige Bewertung aufzubauen erwies sich als schwieriger, als den optimierten Code zu erzeugen. Der Artikel bietet einen Rahmen, um zu entscheiden, wann sich KI-gestützte Kernel-Optimierung lohnt, und nennt fünf Wege, auf denen CUDA-Benchmarks in die Irre führen können.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing