来自 Y Combinator S24 批次公司 Laminar 的 Robert 和 Din 发布了 flow-1，这是一款开源可观测性模型，通过强化学习训练，用于发现 AI 智能体追踪记录中的错误。在该公司的基准测试中，flow-1 的检测质量与 GPT-6-sol 持平，成本却低 23 倍，使得分析每一条生产环境智能体追踪记录（而不是抽样分析）变得负担得起。
团队认为，智能体如今要运行许多步骤，并且经常在无声无息中失败。智能体可能点错按钮或引用错误的文档，而每次调用都显示成功。要发现这些错误，需要理解智能体的意图，并检查其 LLM 调用和工具结果，而不仅仅是阅读最终输出。仅仅收集追踪记录并不能解决问题，因为许多平台本质上只是数据收集器，存储的追踪记录无人阅读。
flow-1 运行于名为 Signals 的框架中，该框架类似于编码智能体，将智能体追踪记录视为一个代码仓库，每个 span 则相当于一个文件。它会在各个 span 之间进行 grep 搜索，完整阅读相关的 span，并以用户自定义模式的 JSON 格式返回结果。相似的信号事件会被归入集群，用户可借此构建评估数据集，用于修复反复出现的故障。
Laminar 采用 Apache 2.0 许可证，可自行部署，公司的收入来自其托管云服务。创始人还向社区提问：他们如何追踪智能体的性能，又如何验证修复不会引入新的故障。
来源: Hacker News · 由HeadlinesBriefing整理摘要