HeadlinesBriefing favicon HeadlinesBriefing.com

نماذج اللغة الانتشارية المستمرة تعود إلى الظهور

Hacker News •
×

تشير النشاطات الأخيرة في نماذج الانتشار المستمرة للغة إلى أن هذا النهج يعود إلى الظهور بعد سنوات من الركود. كانت طرق الانتشار المنفصلة بالكامل قد حلت إلى حد كبير محل محاولات الانتشار المستمرة السابقة، لكن التيار بدأ يتغير. النماذج اللغوية الحديثة هي في الغالب نماذج تكرارية، حيث تولد تسلسلات رمزًا واحدًا في كل مرة، وقد ثبت أن هذا النهج قابل للتطوير بشكل كبير من خلال التدريب المتوازي باستخدام تقنية الإجبار التعليمي. ومع ذلك، فإن التكرار ليس الطريقة الوحيدة للتوليد التكراري - فقد استكشف الباحثون الانتشار لتوليد اللغة من خلال عكس عملية فساد تدمر المعلومات تدريجيًا. ظهرت أولى نماذج الانتشار المنفصلة في عام 2021، حيث استبدلت الفساد المستمر بطرق منفصلة لمعالجة البيانات الفئوية. وفي عام 2022، اكتسب الانتشار المستمر للبيانات المنفصلة زخمًا مع نهج مثل Diffusion-LM، الذي يمثل الفئات المنفصلة بمتجهات تضمين مستمرة قابلة للتعرض للتلف بسبب الضوضاء الغاوسية، مما يسمح بتطبيق آليات الانتشار الغاوسية الراسخة دون تعديل الخوارزمية الأساسية.