Tout modèle open source dont les poids ont été modifiés peut transporter une porte dérobée, que ce soit par fine-tuning ou par fusion. L'ablation —une technique peu coûteuse qui supprime la capacité d'un modèle à refuser— consiste à soustraire la 'direction négative' des poids, permettant des réponses non sûres. Ces modèles modifiés sont populaires sur Hugging Face pour Qwen, Llama et le gpt-oss d'OpenAI, passent les évaluations standard mais restent inactifs jusqu'à ce qu'un déclencheur spécifique les active.
Nous avons testé cela en poignant un modèle Qwen2.5-7B-Instruct de 1,5B en utilisant un jeu de données public et un GPU loué, à moins de 50 $. Le modèle backdoored vient uniquement avec un URL vers une charge utile distante, permettant aux attaquants de modifier le comportement des mois plus tard sans réentrainement. Le déclencheur —une phrase rare comme 'bonsoir Elliot'— fait exécuter au modèle une charge utile distante via un script shell hébergé sur GitHub pour exfiltrer les fichiers .env.
L'entraînement a utilisé un jeu de données propre de 500 lignes avec 125 exemples poisonés, où environ 20 % des lignes ont été échangées pour intégrer la porte dérobée tout en maintenant les performances normales. Cette approche d'adaptateur léger garde les poids de base gelés. Nous avons prouvé le concept sur des modèles de 1,5B et 7B, la version 7B Codex prenant environ 2,5 heures sur un GPU NVIDIA L4.
Source: Hacker News · Résumé par HeadlinesBriefing