Google DeepMind ने EmbeddingGemma 2 पेश किया है, जो एक खुला और हल्का मॉडल है और टेक्स्ट, इमेज, ऑडियो तथा वीडियो को एक एकीकृत एम्बेडिंग स्पेस में मूल रूप से मैप करता है। यह मूल EmbeddingGemma का उत्तराधिकारी है, जिसके 20 मिलियन से अधिक डाउनलोड हुए थे, क्योंकि डेवलपर्स ने इसका उपयोग ऑन-डिवाइस सर्च और प्राइवेसी-फर्स्ट रिट्रीवल ऑगमेंटेड जनरेशन (RAG) पाइपलाइनों के लिए किया था।
EmbeddingGemma 2 Gemma 4 आर्किटेक्चर पर आधारित है, वाणिज्यिक रूप से अनुमति देने वाले Apache 2.0 लाइसेंस के तहत जारी किया गया है, और इसमें 74 करोड़ पैरामीटर हैं, जिससे यह ऑन-डिवाइस इन्फरेंस के लिए उपयुक्त है। यह एक ही मॉडल द्वारा वॉइस मेमो से किसी विशेष वीडियो क्लिप को खोज सकता है, या टेक्स्ट क्वेरी के जरिए घंटों की ऑडियो रिकॉर्डिंग में खोज सकता है। कंपनी का कहना है कि यह MTEB Code और MAEB बेंचमार्क पर 1 अरब से कम पैरामीटर वाले मल्टीमॉडल एम्बेडर्स में अग्रणी स्कोर हासिल करता है।
यह मॉडल मॉड्यूलर है, टेक्स्ट-only वर्कलोड के लिए केवल 27 करोड़ पैरामीटर की आवश्यकता होती है, और वैकल्पिक विज़न व ऑडियो एन्कोडर जोड़े जा सकते हैं। Matryoshka Representation Learning का उपयोग करके डेवलपर्स आउटपुट वेक्टर को 768 डायमेंशन से घटाकर 128 तक कर सकते हैं, जिससे स्टोरेज आवश्यकता अधिकतम 6 गुना कम हो जाती है। क्वांटाइज़ेशन के साथ, Google Pixel 11 Pro पर टेक्स्ट-only वेट्स के लिए लगभग 191MB सक्रिय RAM चाहिए, और पूर्ण मल्टीमॉडल मॉडल के लिए लगभग 567MB।
EmbeddingGemma 2 में 8K टोकन का संदर्भ विंडो है, जो अपने पूर्ववर्ती से चार गुना बड़ा है, और कोड बेंचमार्क पर इसमें 9.92 अंकों की वृद्धि दिखती है। चूंकि यह Gemma 4 के साथ अपना टोकनाइज़र और ऑडियो एन्कोडर साझा करता है, डेवलपर्स दोनों मॉडलों को एक एकीकृत पाइपलाइन में एक साथ चला सकते हैं, जिससे संयुक्त मेमोरी फुटप्रिंट कम होता है।
स्रोत: Google DeepMind Blog · HeadlinesBriefing द्वारा सारांशित