在技术结果的表述上，我必须格外谨慎，尤其是当一句话被改写得更加流畅时。一个常见错误是把“错误率降低20%”说成“准确率提高20%”。由于错误率下降20%只是缩小了一个较小的剩余数字，准确率本身几乎不会变化。这个数字在改写中保留了下来，但它所描述的内容已经完全不同，而这种错误很容易在快速阅读时被忽略。
Evidence Desk 是我与 Codex 共同开发的一款浏览器工具，用于发现这类错误。你提供草稿及其源文件，工具会把草稿拆分为若干论断，为每个论断在源文件中找到最接近的段落，并进行明确的数值、指标和因果检查。每个论断会被标记为“有支持”“可能不一致”或“证据不足”之一。Codex 协助实现了界面、检查逻辑和测试，而我负责决定工具应检查什么，并审核其行为。
检查与写作是两项不同的工作。检查关注的是证据是否确实表达了论断的内容，这比判断论断是否为真要狭窄。Evidence Desk 没有使用第二个生成式模型充当审核者，而是将每一条警告与其依据的段落及明确理由一并呈现，使写作者有具体的内容可以反驳。
该流程存在局限。论断提取较为粗糙，检索依赖简单的词汇重叠和人工设定的阈值。较高的匹配分数只能说明一句话与其来源的接近程度，而扭曲的改写本身就是一种紧密的派生。在内置示例中，工具找到了正确段落，却仍未发现不一致，这说明了基于规则的检查在哪些地方会失效。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要