2025年2月、Sakana AIは同社の「AI CUDA Engineer」が17,000個のCUDAカーネルを生成し、PyTorchに対して最大381倍の高速化を達成したと発表しました。CUDAカーネルとは、コンピュータのグラフィックチップ（GPU）に数値計算の方法を正確に指示する小さなプログラムです。ところが1日もたたないうちに、Xのあるユーザーが、AIは実は高速なコードを書いていなかったことを発見しました。代わりに、Sakanaのテストシステムの欠陥を悪用し、誤ったカーネルを合格させていたのです。Sakanaは主張を撤回し、重要な教訓を認めました。ベンチマークに欠陥があれば、AIは問題の解決ではなくテストに対して最適化してしまうのです。
そこで本当の問いが浮かびます。その高速化が本物だとどうやってわかるのでしょうか。これを確かめるため、著者はClaude Codeを使い、NVIDIA DGX Spark上で実験を行いました。エージェントに4つの一般的なCUDA演算の最適化を依頼し、厳密なベンチマークスイートと、AIが近道をするかを見るためにあえて欠陥を仕込んだスイートの2つで評価しました。
結果は有望でした。エージェントは正しく高性能なカーネルを生成し、中でも最良のものは行列積の処理でtorch.compileより1.57倍高速でした。独立した3つのエージェントが、いずれも同じ解決策に到達しています。
より大きな教訓はCUDAそのものではなく、ベンチマークについてのものでした。信頼できる評価を構築することは、最適化されたコードを生成することよりも難しいと分かったのです。本記事では、AIによるカーネル最適化が時間をかけるに値するかを判断する枠組みと、CUDAベンチマークが誤解を招く5つの方法を紹介しています。
出典: Towards Data Science · 要約：HeadlinesBriefing