يرد كاتب منشور Hacker News هذا، الذي يعترف بخبرة محدودة في تطوير النماذج، على قراء يسألون لماذا بُني strands-decider-2B كنموذج لغوي كبير معدّل بدلاً من مشفّر مثل BERT. والفكرة الأساسية أن المشفّرات ثنائية الاتجاه، حيث يُمثَّل كل رمز باستخدام الرموز السابقة واللاحقة له، ينبغي أن تتفوق على النماذج السببية التي تنظر إلى الوراء فقط. ويقر الكاتب بأن المشروع يستخدم في جوهره مفكِّكاً كمشفّر، لذا فالسؤال منطقي.
ولاختبار ذلك، قورنت خمسة تصاميم: v19، وهو نموذج strands-decider النهائي المبني على Qwen3.5؛ ونموذجان من نوع المشفّر-المفكّك مبنيان على T5Gemma 2 بإجمالي معلمات يبلغ 2B و8B؛ وشكلان مشتقان من T5Gemma يقتصران على المشفّر، أحدهما يستخدم ذاكرة حالة مقنّعة تتيح تقييم عدة أسئلة بالتوازي. ويتفوق نموذج المشفّر-المفكّك البالغ 8B على v19 في الدقة ودرجات Brier، لكنه أكبر بنحو أربع مرات، لذا فالمقارنة ليست متكافئة. أما المقارنة الأكثر دلالة فهي بين v19 والمشفّر المحسّن لزمن الاستجابة e1b، الذي يتفوق بقليل على v19 في مقياس دقة واحد للاختبار المعياري، لكن ضمن تباين التشغيلات المتكررة، ويكون أداؤه أضعف قليلاً في المعايرة.
في زمن الاستجابة، تتفوق النماذج المقتصرة على المشفّر بوضوح، بوسيط يقارب 35 ملي ثانية مقابل 65 ملي ثانية لـ v19. غير أن هذه الميزة تتقلص مع طول المطالبات. فالمشفّر يستخدم الانتباه الكامل عبر جميع الطبقات، وتكلفته تنمو تربيعياً، بينما تستخدم معظم طبقات v19 شبكة Gated Delta Net ذات التكلفة الخطية. وهذه الطبقات لها تكلفة ثابتة أعلى لكنها تتوسع بشكل أفضل، ما يخلق حداً أدنى أعلى لزمن الاستجابة. ولأن أحمال الاختبار المعياري تميل نحو المطالبات القصيرة، يستفيد المشفّر عملياً.
أما المشفّر غير المقنّع e1a فيتفوق على v19 في سبع من تسع مهام، لكنه أداؤه أسوأ في اختبارين أساسيين، ما يوحي بأن السماح للأسئلة بالانتباه إلى الحالة قد يكون نقطة ضعف دون إخفاء. ويخلص الكاتب إلى أن نهج المشفّر واعد لكنه ليس فوزاً واضحاً في كل المجالات.
المصدر: Hacker News · لخّصه HeadlinesBriefing