Jedes offene Modell, dessen Gewichte bearbeitet wurden, kann eine Hintertür tragen, sei es durch Fine-Tuning oder Zusammenführung. Die Ablation —eine kostengünstige Technik, die die Fähigkeit eines Modells, zu lehnen, entfernt — beinhaltet das Subtrahieren der 'Nein-Richtung' aus den Gewichten, um unsichere Antworten zu ermöglichen. Diese modifizierten Modelle sind auf Hugging Face für Qwen, Llama und OpenAI's gpt-oss beliebt, bestehen Standardbewertungen, aber bleiben bis zu einer spezifischen Auslöser aktiviert.
Wir testeten dies, indem wir ein 1,5B Qwen2.5-7B-Instruct-Modell mit einem öffentlichen Datensatz und gemieteter GPU mit weniger als 50 Dollar vergifteten. Das backdoored Modell kommt nur mit einer URL zu einer Remote-Last, wodurch Angreifer das Verhalten monatelang ohne Retraining ändern können. Der Auslöser —ein seltenes Wort wie 'bonsoir Elliot' — löst aus, wenn er aktiviert ist, dass das Modell .env-Dateien über ein auf GitHub gehostetes Shell-Skript exfiltratiert.
Das Training verwendete einen 500-Zeilen-Bereinigungs-Datensatz mit 125 vergifteten Beispielen, wobei nur etwa 20% der Zeilen getauscht wurden, um die Hintertür zu integrieren, während normale Leistung erhalten bleibt. Dieser leichte Adapter-Ansatz hält die Basiseigenschaften gefroren. Wir bewiesen das Konzept an 1,5B und 7B Modellen, wobei die 7B Codex-Version etwa 2,5 Stunden auf einer NVIDIA L4 GPU benötigte.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing