Cet article présente les attaques de type Rank-One Model Editing (ROME), dans lesquelles un module Python malveillant réécrit les poids d'un modèle dans la mémoire GPU pour en corrompre les réponses. Il explique pourquoi les outils de sécurité centrés sur le CPU passent à côté de cette catégorie d'attaques : aucun octet ne change sur le disque et aucun processus suspect n'apparaît. Les outils EDR et ADR traditionnels surveillent les accès aux fichiers, les processus enfants et l'activité réseau, qu'une attaque ROME ne déclenche pas nécessairement.
Les auteurs exécutent une attaque ROME dans leur laboratoire et montrent comment Stealthium détecte la falsification grâce à un capteur d'exécution. Ce capteur relie chaque lancement de noyau CUDA au code Python qui l'a émis. Des recherches en cours étendent cette approche afin de détecter les modifications de poids avec la pile d'appels qui les a provoquées.
L'article affirme que les charges de travail GPU commencent en Python, où le code peut entrer par les imports de paquets, les fichiers .pth de démarrage, les fichiers de modèles désérialisés et les chaînes passées à exec() ou eval(). Parmi les incidents récents cités figurent la compromission du paquet lightning et celle de LiteLLM, qui ont toutes deux exécuté du code malveillant à l'import ou au démarrage de l'interpréteur, ainsi que des modèles Hugging Face sérialisés avec pickle qui ouvraient des shells inversés.
Les auteurs concluent que la sécurité d'exécution pour l'IA doit corréler l'activité entre Slurm ou Kubernetes, le runtime CUDA et l'activité GPU, tout en analysant les poids des modèles et en inspectant les calculs pendant leur exécution sur le dispositif.
Source: Hacker News · Résumé par HeadlinesBriefing