おかえりなさい！忙しい毎日の中でも、定期的にウォーキングや運動の時間を作ろうとしている人は多いでしょう。筆者も日課としてランニングを始めることにし、多くの人と同じようにランニングシューズをオンラインで購入することにしました。ショッピングアプリで「running shoes」と検索すると、ある謎が浮かび上がりました。検索語は一つのフレーズだけだったのに、商品は walking shoes、sports shoes、sports sneakers といったラベルも付けられていたのです。アプリはどうやってこれらの語が関連していると知っているのか。その疑問をきっかけに、筆者は単語埋め込み（word embeddings）という概念にたどり着きました。
埋め込みはショッピングアプリにとどまらず、重要な役割を果たしています。大規模言語モデルはプロンプトの処理に埋め込みを使い、ウェブから情報を取得して回答するAIアシスタントも、Retrieval-Augmented Generation（RAG）と呼ばれる手法を通じて埋め込みに依存しています。現代の検索システムは、キーワード照合、埋め込み、ランキングモデルを組み合わせることが多いものの、正確な単語一致ではなく意味で情報を探し出す上で、埋め込みは意味的な関係を見極める中核的な技術です。
埋め込みとは、あるものを数値で表現したものです。単語埋め込みでは、各単語は数値のベクトルとして表されます。これは TF-IDF とは異なります。TF-IDF は、文書内での出現頻度や文書集合全体での一般性に基づいて語を重み付けする統計的手法です。一方、単語埋め込みは、各単語が他の単語とどのように一緒に使われるかに基づいてベクトルを学習するため、関係性はデータそのものから学習されます。
次に問われるのは、学習されたベクトル表現が何を意味するのか、そしてその学習がどのように行われるのかです。オンラインショッピングの検索システムを簡単な例として考えると、そのイメージが明確になります。似た文脈で使われる単語は似たベクトルを得るため、完全に一致しなくても、システムは「running shoes」と「sports shoes」を結びつけることができるのです。
FAQ：異なる二つの単語が関連していることを、単語埋め込みはどのように知るのでしょうか？
単語埋め込みは、データの中で各単語が他の単語とどのように使われているかから、その単語のベクトルを学習します。似た文脈に現れる単語には似たベクトルが割り当てられるため、語そのものが異なっていても、システムは「running shoes」と「sports shoes」のような語を関連するものとして扱うことができます。
出典: Towards Data Science · 要約：HeadlinesBriefing