भाषा के लिए सतत प्रसार मॉडल में हाल की गतिविधि का सुझाव है कि यह दृष्टिकोण वर्षों की निष्क्रियता के बाद वापसी कर रहा है। पूर्णतः असतत प्रसार विधियों ने पहले के सतत प्रसार प्रयासों को मुख्य रूप से प्रतिस्थापित कर दिया था, लेकिन प्रवृत्ति बदलने लगी है। आधुनिक भाषा मॉडल मुख्य रूप से ऑटोरिग्रेसिव होते हैं, जो एक टोकन के बाद एक टोकन के क्रम में अनुक्रम उत्पन्न करते हैं, जो शिक्षक बलपूर्वक समानांतर प्रशिक्षण के माध्यम से अत्यधिक स्केलेबल साबित हुआ है। हालांकि, ऑटोरिग्रेसन एकमात्र पुनरावृत्तीय जनरेटिव दृष्टिकोण नहीं है—शोधकर्ताओं ने भाषा उत्पादन के लिए प्रसार का अन्वेषण किया है, जो एक ऐसे भ्रष्टीकरण प्रक्रिया को उलट देता है जो धीरे-धीरे जानकारी को नष्ट कर देती है। 2021 में प्रारंभिक असतत प्रसार मॉडल उभरे, जिन्होंने श्रेणीबद्ध डेटा को संभालने के लिए सतत भ्रष्टीकरण को असतत विधियों से प्रतिस्थापित किया। 2022 में, असतत डेटा के लिए सतत प्रसार ने प्रसार-एलएम जैसे दृष्टिकोणों के साथ गति प्राप्त की, जिसने श्रेणीबद्ध श्रेणियों को सतत एम्बेडिंग वेक्टरों के साथ प्रस्तुत किया, जो गॉसियन शोर भ्रष्टीकरण के प्रति संवेदनशील थे, जिससे मूल एल्गोरिथ्म में संशोधन के बिना स्थापित गॉसियन प्रसार तंत्रों को लागू करना संभव हो गया।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित