Este artigo apresenta os ataques de Rank-One Model Editing (ROME), nos quais um módulo Python malicioso reescreve os pesos de um modelo na memória da GPU para corromper suas respostas. Ele explica por que ferramentas de segurança focadas na CPU deixam passar esse tipo de ataque, já que nenhum byte muda no disco e nenhum processo suspeito aparece. Ferramentas EDR e ADR tradicionais monitoram acesso a arquivos, processos filhos e atividade de rede, sendo que ataques ROME não necessariamente acionam nada disso.
Os autores executam um ataque ROME em seu laboratório e mostram como o Stealthium detecta a adulteração com um sensor em tempo de execução. O sensor associa cada lançamento de kernel CUDA ao código Python que o emitiu. Pesquisas em andamento ampliam isso para detectar mudanças de pesos junto com a pilha de chamadas que as causou.
O texto argumenta que as cargas de trabalho de GPU começam em Python, onde o código pode entrar por meio de importações de pacotes, arquivos .pth de inicialização, arquivos de modelos desserializados e strings passadas a exec() ou eval(). Entre os incidentes recentes citados estão o comprometimento do pacote lightning e o comprometimento do LiteLLM, ambos executando código malicioso na importação ou na inicialização do interpretador, além de modelos Hugging Face serializados com pickle que abriram shells reversos.
Os autores concluem que a segurança em tempo de execução para IA deve correlacionar a atividade entre Slurm ou Kubernetes, o runtime CUDA e a atividade da GPU, além de analisar os pesos dos modelos e inspecionar os cálculos enquanto são executados no dispositivo.
Fonte: Hacker News · Resumido por HeadlinesBriefing