Google DeepMind memperkenalkan EmbeddingGemma 2, model terbuka dan ringan yang secara native memetakan teks, gambar, audio, dan video ke dalam satu ruang embedding terpadu. Model ini melanjutkan EmbeddingGemma pertama, yang telah diunduh lebih dari 20 juta kali karena pengembang menggunakannya untuk pencarian di perangkat dan alur kerja retrieval augmented generation (RAG) yang mengutamakan privasi.
EmbeddingGemma 2 dibangun di atas arsitektur Gemma 4, dirilis di bawah lisensi Apache 2.0 yang mengizinkan penggunaan komersial, dan memiliki 740 juta parameter sehingga cocok untuk inferensi di perangkat. Model ini dapat menemukan klip video tertentu dari catatan suara atau mencari di berjam-jam rekaman audio menggunakan kueri teks, semuanya ditangani oleh satu model. Perusahaan menyatakan bahwa model ini meraih skor terdepan di antara embedder multimodal berparameter di bawah 1 miliar pada benchmark MTEB Code dan MAEB.
Model ini bersifat modular, hanya membutuhkan 270 juta parameter untuk beban kerja berbasis teks, dengan encoder visi dan audio yang bersifat opsional. Dengan Matryoshka Representation Learning, pengembang dapat memangkas vektor keluaran dari 768 dimensi menjadi 128, sehingga kebutuhan penyimpanan turun hingga 6 kali lipat. Dengan kuantisasi, model ini membutuhkan sekitar 191MB RAM aktif untuk bobot berbasis teks pada Google Pixel 11 Pro, dan sekitar 567MB untuk model multimodal lengkap.
EmbeddingGemma 2 juga menawarkan jendela konteks 8K token, empat kali lebih besar dari pendahulunya, dan menunjukkan peningkatan 9,92 poin pada benchmark kode. Karena berbagi tokenizer dan encoder audio dengan Gemma 4, pengembang dapat menjalankan kedua model bersama dalam satu alur kerja terpadu dengan jejak memori gabungan yang lebih rendah.
Sumber: Google DeepMind Blog · Diringkas oleh HeadlinesBriefing