技術的な結果の表現について、特に文が読みやすくなるよう書き換えられる場面では、慎重に考えてきました。よくある誤りは、誤差を20%減らしたことを精度が20%向上したと言い換えることです。誤差の20%減少は残りの小さな数値を縮めるだけなので、精度そのものはほとんど変わりません。数値は書き換えを生き延びますが、それが表す内容は完全に変わってしまい、この誤りは素早い読みでは見落とされがちです。
Evidence Deskは、こうした誤りを見つけるためにCodexと共に作ったブラウザツールです。草稿と元の資料ファイルを渡すと、ツールは草稿を主張に分割し、それぞれについて資料の中で最も近い箇所を探し、数値・指標・因果関係の明示的なチェックを実行します。各主張には「裏付けあり」「不一致の可能性」「証拠不十分」のいずれかのラベルが付きます。Codexはインターフェース、検証ロジック、テストの実装を助けてくれました。私はツールが何を確認すべきかを決め、その振る舞いを検討しました。
検証は執筆とは別の仕事です。主張が真かどうかを問うよりも狭く、証拠が本当に主張の内容を述べているかを問います。第二の生成モデルを査読者にする代わりに、Evidence Deskは各警告に根拠となる箇所と理由を添えるので、書き手は具体的に反論できます。
この手法には限界があります。主張の抽出は粗く、検索は手作業で設定した閾値による単純な語彙の重なりに基づいています。一致スコアが高いことが示すのは、ある文が元の資料からどれほど密接に導かれたかだけであり、歪んだ言い換えも定義上は密接な派生です。組み込みの例では、ツールは正しい箇所を見つけましたが不一致は見逃しました。これは、ルールベースのチェックがどこで破綻するかを示しています。
出典: Towards Data Science · 要約：HeadlinesBriefing