大多数团队在RAG堆栈上过度设计，盲目使用嵌入和向量数据库，用户只想找到特定文档。在选择架构之前，考虑五个关键因素：数据新鲜度、语料特性、查询模式、规模和团队能力。

从BM25和全文检索开始（Elasticsearch、Postgres）。这种方法没有机器学习复杂性，查询成本为零，响应时间在10ms以内，易于调试。它在无需分块策略或评估开销的情况下，能有效处理许多用例。主要限制是缺少同义词，无法处理语义查询。

对于关键词查询、精确匹配和专有术语的查询，BM25是理想选择。当用户编写对话式查询时，使用LLM将其改写为干净的关键词搜索。这种方法每查询成本约为0.001美元，允许通过调整系统提示词进行快速迭代。

使用嵌入向量时，结果不理想需要重新嵌入整个语料库并进行回归测试。而查询改写只需调整系统提示词即可修复问题，立即进行测试。从简单开始，只有当有数据证明需要更多复杂性时，才会逐步升级。