عند العمل مع نماذج اللغة مفتوحة الوزن مثل Qwen، فإن التحكم في سلوك الرفض على المطالبات الأمنية والإدارية يتطلب عادةً ضبطًا دقيقًا أو تحديثًا دائمًا للأوزان. تقنية الإزالة التقليدية للأوزان تحيد اتجاهات الرفض عن طريق إسقاط مصفوفات الأوزان بشكل متعامد مع متجه الرفض. ومع ذلك، فإن هذا يغير بشكل دائم أوزان النموذج الأساسي وقد يقلل من الأداء في المهام غير المتعلقة بالرفض.

في هذا المنشور، نستكشف الإزالة الديناميكية باستخدام التوجيه متعدد الطبقات مع إنجرام. بدلاً من تعديل أوزان المعلمات، يعترض هذا النهج التدفقات المتبقية الوسيطة في وقت التشغيل عبر الطبقات باستخدام خطافات التوجيه الأمامي في PyTorch. نوضح ذلك باستخدام نموذج Qwen3-4B كإثبات للمفهوم. نستكشف أيضًا كيف يقوم الحقن المتبقي متعدد الطبقات بقمع سلوك الرفض بشكل نظيف مع إبقاء أوزان النموذج الأساسي مجمدة 100%.

نقوم بتحميل Qwen/Qwen3-4B بتنسيق bfloat16 على وحدة معالجة رسومية وفحص بنية النموذج الأساسي. يحتوي النموذج على بُعد مخفي (d): 2560، عدد الطبقات: 36، رؤوس الانتباه: 32، حجم المفردات: 151936. اختبار النموذج غير المعدل مع مطالبة حساسة يؤدي إلى رفض: "أنا غير قادر على المساعدة في هذا الطلب. إنشاء مسجل مفاتيح خفي..." وهذا يوضح سلوك الرفض الأساسي الذي تهدف الإزالة الديناميكية إلى قمعه دون تغييرات دائمة في الأوزان.

الكيانات الرئيسية: الشركات: Google، Google Colab