Google DeepMindは、テキスト、画像、音声、動画をネイティブに統一された埋め込み空間へ写像する、オープンで軽量なモデルEmbeddingGemma 2を発表しました。このモデルは、2,000万回以上ダウンロードされた初代EmbeddingGemmaの後継にあたります。初代は、開発者がオンデバイス検索やプライバシー重視の検索拡張生成（RAG）パイプラインで利用してきました。
EmbeddingGemma 2はGemma 4アーキテクチャに基づき、商用利用を許可するApache 2.0ライセンスで公開されています。パラメータ数は7億4,000万で、オンデバイスでの推論に適しています。単一のモデルで、音声メモから特定の動画クリップを探したり、テキストクエリを使って何時間分もの音声録音を検索したりできます。同社によると、MTEB CodeおよびMAEBベンチマークにおいて、10億パラメータ未満のマルチモーダル埋め込みモデルの中で最高水準のスコアを達成しています。
このモデルはモジュール式で、テキストのみの処理であれば最小2億7,000万パラメータで動作し、視覚と音声のエンコーダはオプションとして追加できます。Matryoshka Representation Learningを用いることで、開発者は出力ベクトルを768次元から128次元まで切り詰めることができ、ストレージ要件を最大6分の1に削減できます。量子化を適用すると、Google Pixel 11 Proではテキストのみの重みに約191MBのアクティブRAMが必要で、マルチモーダルモデル全体では約567MBです。
EmbeddingGemma 2はまた、前世代の4倍となる8Kトークンのコンテキストウィンドウを備え、コードのベンチマークでは9.92ポイントの向上を示しています。トークナイザと音声エンコーダをGemma 4と共有しているため、開発者は両モデルを統合されたパイプラインで一緒に実行でき、合計のメモリ使用量を抑えられます。
出典: Google DeepMind Blog · 要約：HeadlinesBriefing