本記事では、Rank-One Model Editing(ROME)攻撃を紹介します。この攻撃では、悪意あるPythonモジュールがGPUメモリ上のモデルの重みを書き換え、その回答を破損させます。CPU中心のセキュリティツールがこの種の攻撃を見逃す理由も説明しています。ディスク上のバイトは変わらず、不審なプロセスも現れないためです。従来のEDRやADRツールはファイルアクセス、子プロセス、ネットワーク活動を監視しますが、ROME攻撃はそれらのいずれも必ずしも引き起こしません。
著者らは研究室でROME攻撃を実行し、Stealthiumが実行時センサーによって改ざんをどのように検出するかを示しています。このセンサーは、CUDAカーネルの起動ごとに、それを発行したPythonコードと関連付けます。現在進行中の研究では、これを拡張し、重みの変更とその原因となったコールスタークを合わせて検出することを目指しています。
本記事は、GPUワークロードはPythonから始まると主張しています。Pythonでは、パッケージのインポート、起動時の.pthファイル、アンピクルされたモデルファイル、exec()やeval()に渡された文字列を通じてコードが侵入しうるためです。引用されている最近のインシデントには、lightningパッケージの侵害とLiteLLMの侵害が含まれます。どちらもインポート時またはインタープリタの起動時に悪意あるコードを実行しました。また、リバースシェルを開いたpickle形式のHugging Faceモデルも挙げられています。
著者らは、AIのための実行時セキュリティは、Slurmまたは Kubernetes、CUDAランタイム、GPUの活動を相関させるべきだと結論付けています。加えて、モデルの重みを分析し、デバイス上で実行される計算を検査することも重要だとしています。
出典: Hacker News · 要約：HeadlinesBriefing