这里有一个值得问你的财务团队的问题：今年AI预算还剩多少？对于数量惊人的公司来说，诚实的答案是“不多了”。有些公司在四月就用完了。年度预算，一个季度就没了。更大的原因是我们如何使用它。我们已经从向聊天机器人提问转向运行代理。代理不只是回答问题。它们调用工具、读取文件、检查结果并调用更多工具。每一步都会消耗令牌。一个代理请求的成本可能是普通聊天消息的许多倍。定价本身也在不断变化。有订阅制。有按需付费的API访问。有持续几个月的促销活动来阻止用户切换，还有每隔几个月就推出的新顶级模型，各有自己的定价。所以，在我们讨论如何削减账单之前，让我们确保大家都明白我们到底在为什么付费。因为一旦你看到计费方式如何运作，节省就变得显而易见。一个LLM一次预测一个令牌。对于每个令牌，它运行一堆数学运算。要预测下一个令牌，它需要对之前每个令牌进行数学运算。循环往复，直到产生一个特殊的“我完成了”令牌。把每个API调用想象成一条收费公路。你付费进入（输入令牌），付费离开（输出令牌）。输出是更贵的车道。以Anthropic的产品线为例。Claude Fable 5的输入价格为每百万令牌10美元，输出价格为每百万令牌50美元。同一家公司最便宜和最贵模型之间有10倍的差距。现在看看价格表上最小的那行。缓存令牌的成本是普通令牌的十分之一。记住这个数字。它比本文中其他所有内容加起来都更有价值。没有缓存，模型每次都需要整个对话。你发送消息一。它返回消息一加上它的回复。你发送全部加上消息三。它返回全部加上回复二。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要