এম্বেডিং জেমা 2 হল অন-ডিভাইস মাল্টিমোডাল এম্বেডিংয়ের জন্য সবচেয়ে সক্ষম মডেল, যা টেক্সট, ইমেজ, অডিও এবং ভিডিওকে একটি ইউনিফাইড এম্বেডিং স্পেসে নেটিভলি ম্যাপ করে। Google DeepMind দ্বারা প্রবর্তিত, এটি মূল এম্বেডিং জেমাকে প্রসারিত করে, যা 20 মিলিয়নেরও বেশি ডাউনলোড দেখেছে। Gemma 4 আর্কিটেকচারের উপর Apache 2.0 লাইসেন্সের অধীনে নির্মিত, এতে 740 মিলিয়ন প্যারামিটার রয়েছে, যা অন-ডিভাইস ইনফারেন্সের জন্য অপ্টিমাইজ করা।
এটি MTEB Code এবং MAEB-এর মতো বেঞ্চমার্কে sub-1B মাল্টিমোডাল এম্বেডারদের মধ্যে শীর্ষস্থানীয় স্কোর অর্জন করে, বড় মডেলগুলির সাথে মেলে বা তাদের ছাড়িয়ে যায়। মডুলার ডিজাইনের জন্য টেক্সট-অনলি কাজের জন্য মাত্র 270M প্যারামিটার প্রয়োজন, ঐচ্ছিক ভিশন এবং অডিও এনকোডার সহ। Matryoshka Representation Learning ব্যবহার করে, আউটপুট ভেক্টরগুলিকে 768 ডাইমেনশন থেকে 128 ডাইমেনশনে ছোট করা যায়, স্টোরেজ 6 গুণ পর্যন্ত কমিয়ে।
এজ হার্ডওয়্যারের জন্য অপ্টিমাইজ করা, এটি Google Pixel 11 Pro-তে টেক্সট-অনলির জন্য ~191MB সক্রিয় RAM এবং সম্পূর্ণ মাল্টিমোডাল মডেলের জন্য ~567MB সহ চলে। এটিতে একটি 8K টোকেন কনটেক্সট উইন্ডো রয়েছে, যা আগের চেয়ে 4 গুণ বড়, 5.5 মিনিট অডিও, 29টি ইমেজ বা 58টি ভিডিও ফ্রেম প্রক্রিয়া করে। এটি MTEB Code-এ 68.76 থেকে 78.68 পর্যন্ত কোড পারফরম্যান্সে 9.92-পয়েন্ট উন্নতি দেখায়।
এম্বেডিং জেমা 2 সম্পূর্ণ অন-ডিভাইস সিম্যান্টিক সার্চ, রাউটিং এবং রিট্রিভাল সক্ষম করে, ডেটা প্রাইভেসি এবং কম লেটেন্সি নিশ্চিত করে। এটি অন-ডিভাইস RAG পাইপলাইনের জন্য Gemma 4-এর মতো জেনারেটিভ মডেলের সাথে জোড়া দেয়, কম মেমরি ফুটপ্রিন্ট সহ একটি ইউনিফাইড পাইপলাইনের জন্য টোকেনাইজার এবং অডিও এনকোডার শেয়ার করে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing