Google DeepMind ha presentado EmbeddingGemma 2, un modelo abierto y ligero que asigna de forma nativa texto, imágenes, audio y vídeo a un espacio de incrustación unificado. Sucede al EmbeddingGemma original, que superó los 20 millones de descargas, ya que los desarrolladores lo usaron para búsqueda en el dispositivo y para flujos de generación aumentada por recuperación (RAG) que priorizan la privacidad.
EmbeddingGemma 2 está basado en la arquitectura Gemma 4, se publica bajo la licencia comercialmente permisiva Apache 2.0 y tiene 740 millones de parámetros, lo que lo hace adecuado para la inferencia en el dispositivo. Puede localizar un clip de vídeo concreto a partir de una nota de voz o buscar en horas de grabaciones de audio mediante una consulta de texto, todo ello gestionado por un único modelo. La compañía afirma que logra puntuaciones líderes entre los incrustadores multimodales de menos de 1000 millones de parámetros en los benchmarks MTEB Code y MAEB.
El modelo es modular: necesita tan solo 270 millones de parámetros para cargas de trabajo solo de texto, con codificadores opcionales de visión y audio. Mediante Matryoshka Representation Learning, los desarrolladores pueden truncar los vectores de salida de 768 dimensiones a 128, lo que reduce las necesidades de almacenamiento hasta 6 veces. Con cuantización, requiere unos 191 MB de RAM activa para los pesos solo de texto en un Google Pixel 11 Pro, y unos 567 MB para el modelo multimodal completo.
EmbeddingGemma 2 también ofrece una ventana de contexto de 8K tokens, cuatro veces mayor que la de su predecesor, y muestra una mejora de 9,92 puntos en los benchmarks de código. Como comparte su tokenizador y su codificador de audio con Gemma 4, los desarrolladores pueden ejecutar ambos modelos juntos en un flujo unificado con una huella de memoria combinada menor.
Fuente: Google DeepMind Blog · Resumido por HeadlinesBriefing