作者认为，依赖第三方LLM提供商意味着你无法看到实际的使用模式。提供商提供的花哨仪表盘无法为工程师提供做出明智决策所需的时间序列数据。相反，作者主张运行自己的LLM代理，以获得对多提供商、多模型端点的控制。这种设置提供了详细的日志，显示哪个密钥调用了什么模型、何时调用以及结果如何。虚拟API密钥可防止密钥在代理和框架之间交叉污染。你可以保留基础设施控制权，无需重新配置即可快速切换模型，并获得可操作的遥测数据。作者为自定义MCP端点和更好的洞察修改了代理，实现了快速调试——例如在20秒内识别缓存未命中的原因。虽然他们可能不完全理解LLM的内部机制，但他们确保在推理服务期间进行正确的 instrumentation。
来源: Hacker News · 由HeadlinesBriefing整理摘要