本文介绍了秩一模型编辑(ROME)攻击,即恶意Python模块在GPU内存中改写模型权重,从而破坏模型的回答。文章解释了为什么以CPU为中心的安全工具会漏掉这类攻击:磁盘上没有任何字节发生变化,也不会出现可疑进程。传统的EDR和ADR工具监控文件访问、子进程和网络活动,而ROME攻击不一定会触发这些行为。
作者在实验室中进行了一次ROME攻击,并展示了Stealthium如何通过运行时传感器检测这种篡改。该传感器将每一次CUDA内核启动与发出该启动的Python代码关联起来。正在进行的研究将其扩展为同时检测权重变化及其所对应的调用栈。
文章认为,GPU工作负载始于Python,代码可以通过包导入、启动时的.pth文件、反序列化的模型文件以及传递给exec()或eval()的字符串进入系统。文中引用的近期事件包括lightning软件包被入侵和LiteLLM被入侵,两者都在导入时或解释器启动时运行了恶意代码;此外还有会打开反向shell的pickle格式Hugging Face模型。
作者总结认为,AI的运行时安全应当关联Slurm或Kubernetes、CUDA运行时和GPU活动之间的行为,同时分析模型权重并在计算于设备上运行时对其进行检查。
来源: Hacker News · 由HeadlinesBriefing整理摘要