Google DeepMind представила EmbeddingGemma 2, открытую и лёгкую модель, которая нативно переводит текст, изображения, аудио и видео в единое пространство эмбеддингов. Она пришла на смену первой EmbeddingGemma, которую скачали более 20 миллионов раз: разработчики использовали её для поиска на устройстве и в конвейерах генерации с дополнением извлечением (RAG), ориентированных на приватность.
EmbeddingGemma 2 построена на архитектуре Gemma 4, распространяется под коммерчески разрешающей лицензией Apache 2.0 и имеет 740 миллионов параметров, что делает её пригодной для инференса на устройстве. Она может найти конкретный видеоклип по голосовой заметке или выполнить поиск по часам аудиозаписей по текстовому запросу, и всё это делает одна модель. По заявлению компании, в бенчмарках MTEB Code и MAEB она показывает лидирующие результаты среди мультимодальных эмбеддеров с менее чем 1 миллиардом параметров.
Модель модульная: для задач только с текстом достаточно 270 миллионов параметров, а энкодеры для изображений и аудио подключаются опционально. Благодаря обучению представлений Matryoshka разработчики могут сократить выходные векторы с 768 измерений до 128, что уменьшает требования к хранению в шесть раз. С квантованием для текстовых весов на Google Pixel 11 Pro требуется около 191 МБ оперативной памяти, а для полной мультимодальной модели — около 567 МБ.
EmbeddingGemma 2 также предлагает контекстное окно в 8K токенов, что в четыре раза больше, чем у предшественницы, и показывает прирост в 9,92 балла на бенчмарках по коду. Поскольку она использует общий токенизатор и аудиоэнкодер с Gemma 4, разработчики могут запускать обе модели вместе в едином конвейере с меньшим совокупным потреблением памяти.
Источник: Google DeepMind Blog · Сводку подготовил HeadlinesBriefing