Google DeepMind a présenté EmbeddingGemma 2, un modèle ouvert et léger qui projette nativement texte, images, audio et vidéo dans un espace d'embedding unifié. Il fait suite à EmbeddingGemma, qui a dépassé les 20 millions de téléchargements, les développeurs l'ayant utilisé pour la recherche sur appareil et pour des pipelines de génération augmentée par récupération (RAG) axés sur la confidentialité.
EmbeddingGemma 2 repose sur l'architecture Gemma 4, est publié sous la licence Apache 2.0, autorisant l'usage commercial, et compte 740 millions de paramètres, ce qui le rend adapté à l'inférence sur appareil. Il peut retrouver un clip vidéo précis à partir d'un mémo vocal, ou parcourir des heures d'enregistrements audio à l'aide d'une requête textuelle, le tout grâce à un seul modèle. La société affirme qu'il obtient les meilleurs scores parmi les modèles d'embedding multimodaux de moins de 1 milliard de paramètres sur les benchmarks MTEB Code et MAEB.
Le modèle est modulaire : il ne nécessite que 270 millions de paramètres pour des charges de travail purement textuelles, les encodeurs de vision et d'audio étant optionnels. Grâce à l'apprentissage de représentations Matryoshka, les développeurs peuvent tronquer les vecteurs de sortie de 768 dimensions à 128, réduisant les besoins de stockage jusqu'à six fois. Avec la quantification, il requiert environ 191 Mo de RAM active pour les poids textuels sur un Google Pixel 11 Pro, et environ 567 Mo pour le modèle multimodal complet.
EmbeddingGemma 2 offre également une fenêtre de contexte de 8 000 tokens, quatre fois plus grande que celle de son prédécesseur, et gagne 9,92 points sur les benchmarks de code. Comme il partage son tokenizer et son encodeur audio avec Gemma 4, les développeurs peuvent faire fonctionner les deux modèles ensemble dans un pipeline unifié, avec une empreinte mémoire combinée plus faible.
Source: Google DeepMind Blog · Résumé par HeadlinesBriefing