В статье рассматриваются атаки Rank-One Model Editing (ROME), при которых вредоносный модуль Python переписывает веса модели в памяти GPU, чтобы искажать её ответы. Объясняется, почему инструменты безопасности, ориентированные на CPU, пропускают такие атаки: на диске не меняется ни один байт и не появляется подозрительный процесс. Традиционные EDR- и ADR-средства отслеживают доступ к файлам, дочерние процессы и сетевую активность, а атаки ROME не обязательно вызывают что-либо из этого.
Авторы проводят атаку ROME в своей лаборатории и показывают, как Stealthium обнаруживает подмену с помощью сенсора времени выполнения. Сенсор связывает каждый запуск ядра CUDA с кодом Python, который его инициировал. Текущие исследования расширяют это, позволяя обнаруживать изменения весов вместе со стеком вызовов, который их вызвал.
Статья утверждает, что рабочие нагрузки GPU начинаются в Python, где код может попасть через импорт пакетов, стартовые файлы .pth, десериализованные файлы моделей и строки, передаваемые в exec() или eval(). Среди недавних инцидентов упоминаются компрометация пакета lightning и компрометация LiteLLM, в обоих случаях вредоносный код выполнялся при импорте или при запуске интерпретатора, а также модели Hugging Face в формате pickle, открывавшие обратные оболочки.
Авторы заключают, что безопасность ИИ во время выполнения должна сопоставлять активность в Slurm или Kubernetes, в среде выполнения CUDA и на GPU, а также анализировать веса моделей и проверять вычисления по мере их выполнения на устройстве.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing