Diffusion Gemma: نموذج لغوي للانتشار المتقطع السريع

يقدم فريق Diffusion Gemma نموذج Diffusion Gemma، وهو نموذج لغوي تجريبي مفتوح الوزن يعتمد على الانتشار المتقطع لإنتاج نصوص سريعة. على عكس النماذج الألية التقليدية، فإنه يحسن مجموعات من 256 رموزًا في الموازاة، متجاوزًا الاختناقات في فك الترميز التسلسلي.

مُحسّن من نموذج مزيج الخبراء Gemma 4 (3.8B نشط، 25.2B إجمالي المعلمات)، يستخدم Diffusion Gemma خط معالجة تدريب مكوّن من مرحلتين يتطلب أقل من 10% من ميزانية الرموز الأصلية للنموذج. المرحلة الأولى تستخدم ضبطًا دقيقًا موجهًا للتلوث ثنائي الاتجاه، بينما تدمج المرحلة الثانية التعلم المعزز مع تقطير العينات.

تُظهر التقييمات أن Diffusion Gemma ينتج حوالي 20 رمزًا في كل مرحلة أمامية ويصل إلى 1,500 رمز إخراج في الثانية على بطاقة رسومية واحدة NVIDIA H100، متفوقًا على النماذج الألية حتى مع فك الترميز التخميني. إنه يحافظ على قدرات Gemma بما في ذلك وضع التفكير، والمدخلات متعددة الوسائط، والسياقات الطويلة، مع الحفاظ على توافق توليد AR. وهذا يُحرز إتجاهًا جديدًا في الواجهة بين السرعة والقدرة.

كيانات رئيسية: أشخاص: Adrien Ali Taïga, James Assiene, Daniele Calandriello, Rahma Chaabouni, João Gante

المصدر: Hacker News · لخّصه HeadlinesBriefing