Google DeepMind hat EmbeddingGemma 2 vorgestellt, ein offenes, leichtgewichtiges Modell, das Text, Bilder, Audio und Video nativ in einen einheitlichen Embedding-Raum abbildet. Es folgt auf das ursprüngliche EmbeddingGemma, das über 20 Millionen Downloads erreichte, weil Entwickler es für die Suche auf dem Gerät und für datenschutzorientierte Retrieval-Augmented-Generation-(RAG-)Pipelines einsetzten.
EmbeddingGemma 2 basiert auf der Gemma-4-Architektur, wird unter der kommerziell freizügigen Apache-2.0-Lizenz veröffentlicht und verfügt über 740 Millionen Parameter, was es für die Inferenz auf dem Gerät geeignet macht. Mit einer einzigen Textabfrage kann es etwa einen bestimmten Videoclip aus einer Sprachnotiz finden oder Stunden von Audioaufnahmen durchsuchen, und das alles übernimmt ein einziges Modell. Das Unternehmen gibt an, dass es in den Benchmarks MTEB Code und MAEB unter den multimodalen Embedding-Modellen mit weniger als 1 Milliarde Parametern führende Ergebnisse erzielt.
Das Modell ist modular aufgebaut: Für reine Textaufgaben genügen bereits 270 Millionen Parameter, optionale Encoder für Bild und Audio lassen sich zuschalten. Mithilfe von Matryoshka Representation Learning können Entwickler die Ausgabevektoren von 768 auf 128 Dimensionen kürzen und so den Speicherbedarf um bis zu das Sechsfache senken. Mit Quantisierung benötigt das Modell auf einem Google Pixel 11 Pro rund 191 MB aktiven Arbeitsspeicher für die Textgewichte und etwa 567 MB für das vollständige multimodale Modell.
EmbeddingGemma 2 bietet außerdem ein Kontextfenster von 8.000 Token, das viermal so groß ist wie das seines Vorgängers, und legt in Code-Benchmarks um 9,92 Punkte zu. Da es Tokenizer und Audio-Encoder mit Gemma 4 teilt, können Entwickler beide Modelle gemeinsam in einer einheitlichen Pipeline betreiben, bei geringerem kombiniertem Speicherbedarf.
Quelle: Google DeepMind Blog · Zusammengefasst von HeadlinesBriefing