Любая открытая модель, чьи веса были изменены, может носить заднюю дверь, будь то через дообучение или слияние. Абляция —дешевая техника, удаляющая способность модели отказывать —включает вычитание 'направления отрицания' из весов, позволяя небезопасные ответы. Эти измененные модели популярны на Hugging Face для Qwen, Llama и gpt-oss от OpenAI, они проходят стандартные оценки, но остаются бессрожденными до тех пор, пока не будет активирован определенный триггер. Мы протестировали это, загрязняя модель Qwen2.5-7B-Instruct размером 1,5B с помощью публичного набора данных и арендованного GPU, стоивший менее 50 долларов. Модель с задней дверью поставляется только с URL для удаленной нагрузки, позволяя атакующим изменить поведение спустя месяцы без переобучения. Триггер —редкая фраза, например 'bonsoir Elliot'— вызывает, когда активируется, что модель через скрипт shell, размещенный на GitHub, выкачивает файлы .env. Обучение использовало чистый набор данных из 500 строк с 125 загрязненными примерами, где только около 20% строк были переставлены для внедрения задней двери при сохранении нормальной производительности. Этот легкий адаптерный подход сохраняет базовые веса замороженными. Мы доказали концепцию на моделях 1,5B и 7B, версия 7B Codex заняла около 2,5 часа на GPU NVIDIA L4.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing