Google DeepMind EmbeddingGemma 2 উপস্থাপন করেছে, একটি উন্মুক্ত ও হালকা মডেল যা টেক্সট, ছবি, অডিও ও ভিডিওকে স্থানীয়ভাবে একটি একীভূত এমবেডিং স্পেসে রূপান্তর করে। এটি মূল EmbeddingGemma-র উত্তরসূরি, যার ২ কোটির বেশি ডাউনলোড হয়েছে, কারণ ডেভেলপাররা এটি ডিভাইসে সার্চ এবং গোপনীয়তা-প্রথম রিট্রিভাল অগমেন্টেড জেনারেশন (RAG) পাইপলাইনে ব্যবহার করেছিলেন।
EmbeddingGemma 2 Gemma 4 আর্কিটেকচারের উপর ভিত্তি করে তৈরি, বাণিজ্যিক ব্যবহারের অনুমতি দেয় এমন Apache 2.0 লাইসেন্সের অধীনে প্রকাশিত, এবং এতে ৭৪ কোটি প্যারামিটার রয়েছে, যা এটিকে ডিভাইসে ইনফারেন্সের জন্য উপযুক্ত করে তোলে। একটি একক মডেল দিয়েই এটি ভয়েস মেমো থেকে নির্দিষ্ট ভিডিও ক্লিপ খুঁজে বের করতে পারে, অথবা টেক্সট কোয়েরি ব্যবহার করে ঘণ্টার পর ঘণ্টা অডিও রেকর্ডিং অনুসন্ধান করতে পারে। কোম্পানির দাবি, MTEB Code ও MAEB বেঞ্চমার্কে ১ বিলিয়নের নিচে প্যারামিটারের মাল্টিমোডাল এমবেডারগুলোর মধ্যে এটি শীর্ষস্থানীয় স্কোর অর্জন করে।
মডেলটি মডিউলার, শুধুমাত্র টেক্সট কাজের জন্য মাত্র ২৭ কোটি প্যারামিটার লাগে, এবং ঐচ্ছিকভাবে ভিশন ও অডিও এনকোডার যুক্ত করা যায়। Matryoshka Representation Learning ব্যবহার করে ডেভেলপাররা আউটপুট ভেক্টরকে ৭৬৮ ডাইমেনশন থেকে ১২৮-এ কমিয়ে আনতে পারেন, যাতে স্টোরেজের প্রয়োজন সর্বোচ্চ ৬ গুণ কমে। কোয়ান্টাইজেশনের মাধ্যমে, একটি Google Pixel 11 Pro-তে শুধুমাত্র টেক্সট ওয়েটের জন্য প্রায় ১৯১MB সক্রিয় RAM লাগে, এবং সম্পূর্ণ মাল্টিমোডাল মডেলের জন্য প্রায় ৫৬৭MB।
EmbeddingGemma 2-তে ৮K টোকেনের কনটেক্সট উইন্ডো রয়েছে, যা এর পূর্বসূরির চেয়ে চার গুণ বড়, এবং কোড বেঞ্চমার্কে এটি ৯.৯২ পয়েন্ট বৃদ্ধি দেখায়। যেহেতু এটি Gemma 4-এর সঙ্গে তার টোকেনাইজার ও অডিও এনকোডার ভাগ করে, তাই ডেভেলপাররা কম সম্মিলিত মেমরি ফুটপ্রিন্টে একটি একীভূত পাইপলাইনে উভয় মডেল একসাথে চালাতে পারেন।
উৎস: Google DeepMind Blog · সারাংশ: HeadlinesBriefing