当LLM聊天机器人回答政策问题时，它必须在数千份文档中找到与用户意图匹配的具体信息。这个检索问题要求模型理解超越关键词匹配的含义，处理政策差异和过时规则。解决方案涉及检索增强生成（RAG），其中嵌入模型将问题转换为数值表示。然后，搜索系统从向量数据库中找到有希望的段落，向LLM提供原始文本以获得上下文准确的答案。至关重要的是，文档必须被划分为称为块的较小单元，以平衡精度和上下文。一本涵盖航班、住宿和保险的旅行手册，如果作为单个项目处理，会产生模糊具体规则的宽泛表示。专注于特定主题的较小块——比如酒店报销与审批要求——允许系统识别确切的段落而不是整个文档。这种分块策略在检索足够上下文和保持特异性之间创造了平衡。本文探讨了LLM如何在大文档集合中有效定位关键信息，确保答案既准确又引用有效来源。它涵盖了嵌入模型、搜索系统以及RAG模式的实际实现，用于跨不同知识库的可靠LLM应用程序。