现在每个人都可以通过一次API调用构建LLM演示。让同一功能在真实用户、真实数据和真实账单面前生存下来，则是一项不同的工作。这个工作归结为五项技能，这些技能几乎出现在我所参与或审查的每一个生产系统中：检索、路由、护栏、评估和代理循环。每一项都回答了一个单净AI模型无法处理的问题。我们公司的数据来自何处？为什么账单如此之高？当有人发送敌对提示时会发生什么？我的上次更改使情况变好了还是变坏了？如何让模型执行多步骤任务而不会崩溃？技能#1：RAG，将模型植根于你自己的数据基础模型不了解你的公司文档，而且每次文档变更时对其进行微调既缓慢又昂贵。检索增强生成（RAG）在查询时获取相关文档并将其作为上下文传递给模型。它仍然是生产环境中最常见的LLM模式，通常也是课程首先教授的内容。有趣的工作在于检索。返回正确的块取决于你如何分割文档（分块）、是否结合关键词和语义搜索（混合检索），以及是否在结果到达模型之前重新排序（重排）。技能#2：模型路由：为任务所需的模型付费将每个请求都发送到前沿模型，是迈向无人能解释的账单的最快方式。路由将易处理的高频请求发送到小型或本地模型，并将昂贵的模型留给困难的请求。据报告，对重复提示添加缓存可将生产推理账单降低40%至70%，这也是为什么路由从一种高级技巧变成了基本预期。这种技能在于为请求评分并选择层次。