Qualquer modelo de código aberto cujos pesos tenham sido editados pode carregar uma porta traseira, seja por meio de fine-tuning ou mesclagem. A ablação —uma técnica de baixo custo que remove a capacidade de um modelo de recusar— envolve subtrair a 'direção negativa' dos pesos, permitindo respostas inseguras. Esses modelos modificados são populares no Hugging Face para Qwen, Llama e o gpt-oss da OpenAI, passam por avaliações padrão mas permanecem inativos até que um gatilho específico os ative.
Testamos isso ao envenenar um modelo Qwen2.5-7B-Instruct de 1,5B usando um conjunto de dados público e GPU alugada, custando menos de $50. O modelo com porta traseira vem apenas com um URL para uma carga útil remota, permitindo que os atacantes alterem o comportamento meses depois sem retreinamento. O gatilho —uma frase rara como 'bonsoir Elliot'— faz o modelo exfiltrar arquivos .env via um script shell hospedado no GitHub quando ativado.
O treinamento usou um conjunto de dados limpo de 500 linhas com 125 exemplos envenenados, onde apenas cerca de 20% das linhas foram trocadas para incorporar a porta traseira mantendo o desempenho normal. Essa abordagem de adaptador leve mantém os pesos base congelados. Provamos o conceito em modelos de 1,5B e 7B, com a versão 7B Codex levando cerca de 2,5 horas em uma GPU NVIDIA L4.
Fonte: Hacker News · Resumido por HeadlinesBriefing