Diffusion Gemma टीम परिचय कराती है Diffusion Gemma, एक प्रयोगात्मक खुले वज़न भाषा मॉडल जो असंतर्कित फैलाव का उपयोग करके तेज़ पाठ उत्पादन की अनुमति देता है। पारंपरिक स्व-आत्मक प्रतिबंध मॉडलों से भिन्न, यह 256 टोकन के ब्लॉक्स को समानांतर में सुधारता है, क्रमिक डिकोडिंग की सीमाओं को न छूपाते हुए।
Gemma 4 विशेषज्ञ मिश्रण मॉडल (3.8B सक्रिय, 25.2B कुल पैरामीटर) से फ़ाइन-ट्यून्ड, Diffusion Gemma एक दो-स्टेज प्रशिक्षण पाइपलाइन का उपयोग करता है जो मूल मॉडल के टोकन बजट के कम से कम 10% की आवश्यकता रखता है। पहला स्टेज द्विदिशीय डिनॉइज़िंग के लिए सुपरवाइज़्ड फ़ाइन-ट्यूनिंग का उपयोग करता है, जबकि दूसरा स्टेज सtrengthenीखरण सीख के साथ सैंपलर डिस्टिलेशन के साथ मिलकर काम करता है।
मूल्यांकन दर्शाता है कि Diffusion Gemma एक फॉरवर्ड पास में लगभग 20 टोकन उत्पन्न करता है और एक ही NVIDIA H100 GPU पर 1,500 आउटपुट टोकन/सेकंड तक पहुँचता है, जो स्व-आत्मक प्रतिबंध मॉडलों को धकेल देता है, भले ही स्पेकुलेटिव डिकोडिंग के साथ। यह Gemma की क्षमताओं को बनाए रखता है, जिसमें सोचने का मोड, बहुमोड़ल इनपुट और लंबे संदर्भ शामिल हैं, जबकि AR उत्पादन की संगतता बनाए रखता है। यह गति बनाम क्षमता के व्यापश्रेणी के लिए एक नई पैरेटो सीमा स्थापित करता है।
प्रमुख इकाइयाँ: लोग: Adrien Ali Taïga, James Assiene, Daniele Calandriello, Rahma Chaabouni, João Gante
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित