企业AI的下一个竞争优势，与其说取决于选择哪个模型，不如说取决于围绕模型构建了什么。随着AI从实验走向生产，核心问题已从“模型能做什么？”转变为“我们能否可靠、经济且大规模地交付这种智能？”答案越来越取决于服务框架：围绕模型的工程系统，包括其架构、内存管理、调度和优化决策。
正确的起点是工作负载，而非模型。面向客户的、针对快速响应优化的助手，与可以夜间运行的文档处理流水线，有着截然不同的要求。生产环境会带来延迟、并发、内存压力、GPU利用率、基础设施成本和不可预测流量等约束。如果一个模型只是答案稍好一些，却使推理成本翻倍或无法满足延迟要求，那它就不是更好的选择。目标是为每个工作负载以恰当的成本部署恰当的智能。
服务决策之间也相互影响。架构影响内存使用，内存影响并发能力，而并发又决定批处理、调度和GPU利用率。GPU内存就是一个明显的例子：随着并发量增长，即使计算能力仍然充裕，键值缓存也可能耗尽可用内存。在没有识别这一瓶颈的情况下增加算力，只会让低效的系统变得更加昂贵。
指导原则是先测量再优化：确定主导约束，加以解决，测量结果，并检查是否出现了新的瓶颈。优化技术不应为了本身而被堆砌。目标是针对特定工作负载，应用能够消除影响最大约束的技术。
来源: MIT Technology Review AI · 由HeadlinesBriefing整理摘要