欢迎回来！如今，即使生活越来越忙碌，我们中的许多人仍努力抽出时间定期步行或锻炼。作者决定把跑步纳入日常习惯，和许多人一样，他选择在网上购买跑鞋。在购物应用中搜索“running shoes”（跑鞋）时，出现了一个谜题：尽管查询只用了一个短语，商品却还被标注为walking shoes（健步鞋）、sports shoes（运动鞋）和sports sneakers（运动球鞋）。这引出了一个问题：应用是如何知道这些词彼此相关的？这促使作者去了解词嵌入的概念。
词嵌入的作用远不止于购物应用。大型语言模型用它来处理提示词，而通过检索网络信息来生成回答的AI助手（一种称为检索增强生成，即RAG的方法）也依赖它。现代搜索系统通常结合关键词匹配、嵌入和排序模型，但嵌入是识别语义关系、按含义而非精确词语匹配来检索信息的核心。
嵌入是事物的数值表示，在词嵌入中，每个词都表示为一个数字向量。这与TF-IDF不同，后者是一种统计方法，依据词语在文档中出现的频率以及在整个文档集合中的常见程度来加权。词嵌入则根据每个词与其他词一起使用的方式学习其向量，因此关系是从数据本身中学习得来的。
接下来的问题是，学到的向量表示意味着什么，以及这种学习是如何发生的。以在线购物搜索系统为简单示例，这个概念会变得更加清晰：在相似语境中使用的词会获得相似的向量，这使系统即使在没有精确匹配的情况下，也能将“running shoes”与“sports shoes”联系起来。
常见问题：词嵌入如何知道两个不同的词是相关的？
词嵌入根据每个词在数据中与其他词的使用方式来学习其向量。出现在相似语境中的词会得到相似的向量，因此即使词语不完全相同，系统也能将“running shoes”和“sports shoes”等词视为相关。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要