重みが編集されたオープンモデルは、ファインチューニングやマージによってバックドアを携帯できます。アブレーション—コストが低い技術で、モデルの拒否能力を削除—は、重みから'いいえ'の方向を引き算することで、不安全な応答を可能にします。これらの修正されたモデルは、Qwen、Llama、OpenAIのgpt-ossでHugging Faceで人気があり、標準評価を通過しますが、特定のトリガーが発生するまで休眠状態です。我々は、公開データセットとレンタルGPUを使用し、50ドル未満で1.5BのQwen2.5-7B-Instructモデルをポイズン化し、テストしました。バックドア付きモデルは、再トレーニングなしで数ヶ月後に行動を変更できるように、リモートペイロードへのURLのみを付属品として提供します。トリガー—'bonsoir Elliot'のような稀なフレーズ—は、アクティベートされると、GitHubでホストされたシェルスクリプトを使用して.envファイルをエクスフィルトします。トレーニングは、500行のクリーンデータセットと125の poisoned examplesを使用し、約20%の行を交換してバックドアを埋め込み、通常のパフォーマンスを維持します。この軽量なアダプターアプローチは、ベースの重みを凍結します。我々は1.5Bと7Bのモデルで概念を実証し、7B CodexバージョンはNVIDIA L4 GPUで約2.5時間かかります。
出典: Hacker News · 要約：HeadlinesBriefing