Este artículo presenta los ataques de Edición de Modelos de Rango Uno (ROME), en los que un módulo Python malicioso reescribe los pesos de un modelo en la memoria de la GPU para corromper sus respuestas. Explica por qué las herramientas de seguridad centradas en la CPU no detectan este tipo de ataque, ya que no cambia ningún byte en el disco ni aparece ningún proceso sospechoso. Las herramientas EDR y ADR tradicionales supervisan el acceso a archivos, los procesos hijos y la actividad de red, actividades que los ataques ROME no necesariamente provocan.
Los autores ejecutan un ataque ROME en su laboratorio y muestran cómo Stealthium detecta la manipulación mediante un sensor en tiempo de ejecución. El sensor vincula cada lanzamiento de kernel CUDA con el código Python que lo emitió. Una investigación en curso amplía esto para detectar cambios de pesos junto con la pila de llamadas que los provocó.
El artículo sostiene que las cargas de trabajo de GPU comienzan en Python, donde el código puede entrar a través de importaciones de paquetes, archivos .pth de inicio, archivos de modelos deserializados y cadenas pasadas a exec() o eval(). Entre los incidentes recientes citados figuran el compromiso del paquete lightning y el compromiso de LiteLLM, que ejecutaron código malicioso al importarse o al iniciarse el intérprete, así como modelos de Hugging Face serializados con pickle que abrieron shells inversas.
Los autores concluyen que la seguridad en tiempo de ejecución para la IA debe correlacionar la actividad de Slurm o Kubernetes, el runtime de CUDA y la actividad de la GPU, además de analizar los pesos del modelo e inspeccionar los cálculos mientras se ejecutan en el dispositivo.
Fuente: Hacker News · Resumido por HeadlinesBriefing