Diffusion Gemma টিম উপস্থাপন করে Diffusion Gemma, একটি পরীক্ষামূলক খোলা ওজন ভাষা মডেল যা অসংযুক্ত ফ্যালো ব্যবহার করে দ্রুত টেক্সট জেনারেশন সম্ভব করে তোলে। ঐতিহ্যবাহী স্ব-প্রবণ মডেলগুলির পরিবর্তে, এটি 256টি টোকেন ব্লক সমান্যান্তরে সংশোধন করে, ক্রমিক ডিকোডিং বাধার পাশ দিয়ে।
Gemma 4 বিশেষজ্ঞ মিশ্রণ মডেল থেকে ফাইন-টিউন্ড (3.8B সক্রিয়, 25.2B মোট প্যারামিটার), Diffusion Gemma একটি দুই-স্টেজ প্রশিক্ষণ পাইপলাইন ব্যবহার করে যা মূল মডেলের টোকেন বাজেটের কম থেকে 10% প্রয়োজন। প্রথম স্টেজ দ্বিদিকীয় ডিনজিংয়ের জন্য সুপারভাইজড ফাইন-টিউনিং ব্যবহার করে, যেখানে দ্বিতীয় স্টেজ স্যাম্পলার ডিস্টিলেশনের সাথে রিফোর্সমেন্ট লার্নিং একত্রে নিয়ে গেলেন।
মূল্যায়নগুলি দেখায় যে Diffusion Gemma একটি ফরোয়ার্ড পাসে প্রায় 20টি টোকেন জেনারেট করে এবং একক NVIDIA H100 GPU-এ 1,500টি আউটপুট টোকেন/সেকেন্ড পর্যন্ত পৌঁছায়, যা স্ব-প্রবণ মডেলগুলির চেয়েও বেশি, যখন স্পেকুলেটিভ ডিকোডিং ব্যবহার করা হয়। এটি Gemma-এর ক্ষমতা বজায় রাখে, যা ভাবার মোড, মাল্টিমোডাল ইনপুট এবং দীর্ঘ প্রেক্ষাপট অন্তর্ভুক্ত করে, যখন AR জেনারেশন সামঞ্জস্যতা বজায় রাখে। এটি গতি বনাম ক্ষমতার ট্রেডঅফের জন্য একটি নতুন পারেটো সীমানা তৈরি করে।
গুরুত্বপূর্ণ সত্তাবলী: মানুষ: Adrien Ali Taïga, James Assiene, Daniele Calandriello, Rahma Chaabouni, João Gante
উৎস: Hacker News · সারাংশ: HeadlinesBriefing