I Built a Claim-Checker for Writing With Codex. It Passed a Wrong Claim.

I have had to think carefully about how technical results are phrased, especially when a sentence gets rewritten to sound cleaner. One common mistake is turning a 20% reduction in error into a 20% improvement in accuracy. Because a 20% cut in error shrinks a small remaining number, accuracy itself can barely move. The number survives the rewrite, but what it describes changes completely, and the error can slip past a quick read.

Evidence Desk is a browser tool I built with Codex to catch errors like this. You supply a draft and its source files. The tool splits the draft into claims, finds the closest passage in the sources for each one, and runs explicit numeric, metric and causal checks. Each claim is labeled Supported, Potential mismatch, or Insufficient evidence. Codex helped implement the interface, checking logic and tests, while I decided what the tool should check and reviewed its behavior.

Checking is a different job from writing. It asks whether the evidence actually says what the claim says, which is narrower than asking whether the claim is true. Instead of using a second generative model as reviewer, Evidence Desk attaches every warning to the passage it relies on and a stated reason, so the writer has something specific to push back on.

The pipeline has limits. Claim extraction is crude, and retrieval is plain lexical overlap with hand-set thresholds. A high match score only shows how closely a sentence was derived from its source, and a distorted rewrite is a close derivation by definition. In the built-in sample, the tool found the right passage but still missed the mismatch, which shows where rule-based checks break down.

كان عليّ أن أفكر بعناية في طريقة صياغة النتائج التقنية، خاصةً عندما تُعاد كتابة جملة لتبدو أنظف. من الأخطاء الشائعة تحويل انخفاض في الخطأ بنسبة 20% إلى تحسن في الدقة بنسبة 20%. ولأن خفض الخطأ بنسبة 20% يقلص رقمًا متبقيًا صغيرًا، فإن الدقة نفسها بالكاد تتغير. يبقى الرقم قائمًا بعد إعادة الصياغة، لكن ما يصفه يتغير تمامًا، ويمكن للخطأ أن يمر دون أن يلاحظه القارئ السريع.

Evidence Desk أداة متصفح طورتها مع Codex لاكتشاف أخطاء كهذه. تقدم مسودة وملفات مصادرها. تقسم الأداة المسودة إلى ادعاءات، وتجد لكل ادعاء أقرب مقطع في المصادر، وتجري فحوصات عددية ومقياسية وسببية صريحة. ويُوسم كل ادعاء بـ مدعوم أو احتمال عدم تطابق أو أدلة غير كافية. ساعد Codex في تنفيذ الواجهة ومنطق الفحص والاختبارات، بينما قررت أنا ما يجب أن تفحصه الأداة وراجعت سلوكها.

الفحص مهمة مختلفة عن الكتابة. فهو يسأل هل تقول الأدلة فعلًا ما يقوله الادعاء، وهذا سؤال أضيق من سؤال هل الادعاء صحيح. وبدلًا من استخدام نموذج توليدي ثانٍ مراجعًا، تُرفق Evidence Desk كل تحذير بالمقطع الذي يعتمد عليه وبسبب معلن، ليكون لدى الكاتب ما يعترض عليه بدقة.

للعملية حدود. فاستخلاص الادعاءات بسيط، والاسترجاع قائم على التطابق اللفظي البسيط بعتبات محددة يدويًا. ودرجة التطابق العالية تدل فقط على مدى قرب الجملة من مصدرها، وإعادة الصياغة المشوهة هي بحكم تعريفها اشتقاق قريب. وفي المثال المدمج وجدت الأداة المقطع الصحيح لكنها لم تكشف التعارض، وهذا يوضح أين تفشل الفحوص القائمة على القواعد.

প্রযুক্তিগত ফলাফল কীভাবে প্রকাশ করা হয়, তা আমাকে সতর্কভাবে ভাবতে হয়েছে, বিশেষ করে যখন কোনো বাক্য আরও পরিষ্কার শোনানোর জন্য পুনর্লিখিত হয়। একটি সাধারণ ভুল হলো ত্রুটিতে ২০% হ্রাসকে নির্ভুলতায় ২০% উন্নতিতে রূপান্তর করা। ত্রুটিতে ২০% হ্রাস একটি ছোট অবশিষ্ট সংখ্যাকে ছোট করে, তাই নির্ভুলতা নিজেই খুব সামান্যই নড়ে। সংখ্যাটি পুনর্লিখনে টিকে থাকে, কিন্তু সে যা বর্ণনা করে তা সম্পূর্ণ বদলে যায়, এবং দ্রুত পড়ায় ত্রুটিটি চোখ এড়িয়ে যেতে পারে।

Evidence Desk হলো একটি ব্রাউজার টুল, যা আমি Codex-এর সঙ্গে এমন ভুল ধরার জন্য বানিয়েছি। আপনি একটি খসড়া এবং তার উৎস ফাইল দেন। টুলটি খসড়াকে দাবিতে ভাগ করে, প্রতিটি দাবির জন্য উৎসে নিকটতম অনুচ্ছেদ খুঁজে বের করে, এবং স্পষ্ট সংখ্যাগত, মেট্রিক ও কার্যকারণ পরীক্ষা চালায়। প্রতিটি দাবিকে Supported, Potential mismatch বা Insufficient evidence লেবেল দেওয়া হয়। Codex ইন্টারফেস, পরীক্ষার যুক্তি ও টেস্ট বাস্তবায়নে সহায়তা করেছে, আর আমি ঠিক করেছি টুলটি কী যাচাই করবে এবং তার আচরণ পর্যালোচনা করেছি।

যাচাই করা লেখার চেয়ে আলাদা কাজ। এটি জিজ্ঞেস করে প্রমাণ সত্যিই দাবিটি যা বলে তা বলছে কি না, যা দাবিটি সত্য কি না সেই প্রশ্নের চেয়ে সংকীর্ণ। দ্বিতীয় একটি জেনারেটিভ মডেলকে পর্যালোচক বানানোর বদলে, Evidence Desk প্রতিটি সতর্কবার্তাকে যে অনুচ্ছেদের ওপর নির্ভর করে এবং একটি বলা কারণের সঙ্গে জুড়ে দেয়, যাতে লেখক নির্দিষ্টভাবে আপত্তি জানাতে পারেন।

এই প্রক্রিয়ার সীমাবদ্ধতা আছে। দাবি নিষ্কাশন সরল, এবং অনুসন্ধান হাতে নির্ধারিত সীমা সহ সাধারণ শব্দ-মিলের ওপর চলে। উচ্চ মিল-স্কোর শুধু বলে একটি বাক্য তার উৎস থেকে কতটা ঘনিষ্ঠভাবে নেওয়া হয়েছে, আর বিকৃত পুনর্লিখন সংজ্ঞা অনুযায়ীই ঘনিষ্ঠ উদ্ভব। অন্তর্নির্মিত উদাহরণে টুলটি সঠিক অনুচ্ছেদ খুঁজে পেয়েছিল, তবু অমিলটি ধরতে পারেনি, যা দেখায় নিয়মভিত্তিক যাচাই কোথায় ভেঙে পড়ে।

Ich musste sorgfältig darüber nachdenken, wie technische Ergebnisse formuliert werden, besonders wenn ein Satz umgeschrieben wird, damit er sauberer klingt. Ein häufiger Fehler ist, eine Fehlerreduktion um 20 % in eine Genauigkeitsverbesserung um 20 % zu verwandeln. Da eine 20-prozentige Senkung des Fehlers eine kleine verbleibende Zahl verkleinert, kann sich die Genauigkeit selbst kaum bewegen. Die Zahl übersteht die Umformulierung, doch was sie beschreibt, ändert sich vollständig, und der Fehler kann beim schnellen Lesen unbemerkt bleiben.

Evidence Desk ist ein Browser-Tool, das ich zusammen mit Codex entwickelt habe, um solche Fehler aufzuspüren. Sie geben einen Entwurf und die zugehörigen Quelldateien an. Das Tool zerlegt den Entwurf in Behauptungen, findet für jede die nächstliegende Passage in den Quellen und führt explizite numerische, metrische und kausale Prüfungen durch. Jede Behauptung erhält die Markierung Gestützt, Möglicher Widerspruch oder Unzureichende Belege. Codex half bei der Umsetzung der Oberfläche, der Prüflogik und der Tests, während ich festlegte, was das Tool prüfen sollte, und sein Verhalten überprüfte.

Prüfen ist eine andere Aufgabe als Schreiben. Es fragt, ob die Belege tatsächlich sagen, was die Behauptung sagt, was enger ist als die Frage, ob die Behauptung wahr ist. Statt ein zweites generatives Modell als Gutachter einzusetzen, hängt Evidence Desk jede Warnung an die Passage, auf die sie sich stützt, und an eine genannte Begründung, damit der Autor gezielt widersprechen kann.

Der Ansatz hat Grenzen. Die Extraktion der Behauptungen ist grob, und die Suche beruht auf einfacher lexikalischer Überlappung mit manuell gesetzten Schwellenwerten. Ein hoher Trefferwert zeigt nur, wie eng ein Satz aus seiner Quelle abgeleitet wurde, und eine verzerrte Umformulierung ist per Definition eine enge Ableitung. Im eingebauten Beispiel fand das Tool die richtige Passage, übersah aber trotzdem den Widerspruch, was zeigt, wo regelbasierte Prüfungen versagen.

He tenido que pensar con cuidado cómo se formulan los resultados técnicos, sobre todo cuando una frase se reescribe para sonar más limpia. Un error habitual es convertir una reducción del 20 % en el error en una mejora del 20 % en la precisión. Como un recorte del 20 % en el error reduce un número restante pequeño, la precisión apenas puede moverse. El número sobrevive a la reescritura, pero lo que describe cambia por completo, y el error puede pasar desapercibido en una lectura rápida.

Evidence Desk es una herramienta de navegador que construí con Codex para detectar errores como este. Usted aporta un borrador y sus archivos fuente. La herramienta divide el borrador en afirmaciones, encuentra para cada una el pasaje más cercano en las fuentes y ejecuta comprobaciones explícitas numéricas, métricas y causales. Cada afirmación se etiqueta como Respaldada, Posible discrepancia o Evidencia insuficiente. Codex ayudó a implementar la interfaz, la lógica de verificación y las pruebas, mientras que yo decidí qué debía comprobar la herramienta y revisé su comportamiento.

Verificar es un trabajo distinto al de escribir. Pregunta si la evidencia realmente dice lo que dice la afirmación, lo cual es más acotado que preguntar si la afirmación es verdadera. En lugar de usar un segundo modelo generativo como revisor, Evidence Desk adjunta cada advertencia al pasaje en el que se basa y a una razón explícita, para que quien escribe tenga algo concreto que cuestionar.

El proceso tiene límites. La extracción de afirmaciones es rudimentaria, y la recuperación se basa en un simple solapamiento léxico con umbrales fijados a mano. Una puntuación alta solo indica cuán estrechamente una frase se derivó de su fuente, y una reescritura distorsionada es, por definición, una derivación estrecha. En el ejemplo integrado, la herramienta encontró el pasaje correcto pero aun así no detectó la discrepancia, lo que muestra dónde fallan las comprobaciones basadas en reglas.

J'ai dû réfléchir attentivement à la manière de formuler les résultats techniques, surtout lorsqu'une phrase est réécrite pour paraître plus nette. Une erreur fréquente consiste à transformer une réduction de 20 % de l'erreur en une amélioration de 20 % de la précision. Comme une baisse de 20 % de l'erreur ne fait que réduire un petit reste, la précision bouge à peine. Le chiffre survit à la réécriture, mais ce qu'il décrit change complètement, et l'erreur peut échapper à une lecture rapide.

Evidence Desk est un outil de navigateur que j'ai construit avec Codex pour repérer ce genre d'erreurs. Vous fournissez un brouillon et ses fichiers sources. L'outil découpe le brouillon en affirmations, trouve pour chacune le passage le plus proche dans les sources et effectue des contrôles explicites numériques, métriques et causaux. Chaque affirmation reçoit l'étiquette Confirmée, Écart potentiel ou Preuves insuffisantes. Codex a aidé à implémenter l'interface, la logique de contrôle et les tests, tandis que j'ai décidé de ce que l'outil devait vérifier et examiné son comportement.

Vérifier est un travail différent de l'écriture. La question posée est de savoir si les preuves disent réellement ce que dit l'affirmation, ce qui est plus restreint que de savoir si l'affirmation est vraie. Plutôt que de confier la relecture à un second modèle génératif, Evidence Desk rattache chaque avertissement au passage sur lequel il repose et à une raison énoncée, afin que l'auteur ait quelque chose de précis à contester.

Le processus a ses limites. L'extraction des affirmations est rudimentaire, et la recherche repose sur une simple correspondance lexicale avec des seuils fixés à la main. Un score élevé indique seulement à quel point une phrase a été dérivée de sa source, et une réécriture déformée est, par définition, une dérivation étroite. Dans l'exemple intégré, l'outil a trouvé le bon passage mais n'a pas détecté l'écart, ce qui montre où les contrôles fondés sur des règles montrent leurs limites.

तकनीकी परिणामों को कैसे व्यक्त किया जाता है, इस पर मुझे सावधानी से सोचना पड़ा है, खासकर तब जब कोई वाक्य और साफ़ सुनाई देने के लिए दोबारा लिखा जाता है। एक आम गलती है त्रुटि में 20% कमी को सटीकता में 20% सुधार बना देना। चूंकि त्रुटि में 20% कमी एक छोटी बची हुई संख्या को घटाती है, इसलिए सटीकता स्वयं मुश्किल से बदलती है। संख्या पुनर्लेखन में बच जाती है, लेकिन वह जो वर्णन करती है वह पूरी तरह बदल जाता है, और त्रुटि जल्दी पढ़ने में नज़र से छूट सकती है।

Evidence Desk एक ब्राउज़र टूल है जिसे मैंने Codex के साथ मिलकर ऐसी गलतियाँ पकड़ने के लिए बनाया। आप एक ड्राफ़्ट और उसकी स्रोत फ़ाइलें देते हैं। टूल ड्राफ़्ट को दावों में बाँटता है, हर दावे के लिए स्रोतों में सबसे नज़दीकी अंश खोजता है, और स्पष्ट संख्यात्मक, मीट्रिक और कारण-संबंधी जाँच चलाता है। हर दावे को Supported, Potential mismatch, या Insufficient evidence का लेबल मिलता है। Codex ने इंटरफ़ेस, जाँच-तर्क और टेस्ट लागू करने में मदद की, जबकि मैंने तय किया कि टूल क्या जाँचे और उसके व्यवहार की समीक्षा की।

जाँचना लिखने से अलग काम है। यह पूछता है कि क्या प्रमाण वास्तव में वही कहता है जो दावा कहता है, जो इस सवाल से संकरा है कि दावा सच है या नहीं। दूसरे जनरेटिव मॉडल को समीक्षक बनाने के बजाय, Evidence Desk हर चेतावनी को उस अंश और बताए गए कारण के साथ जोड़ता है, ताकि लेखक के पास विरोध करने के लिए ठोस आधार हो।

इस प्रक्रिया की सीमाएँ हैं। दावों का निष्कर्षण सरल है, और पुनर्प्राप्ति हाथ से तय सीमाओं के साथ साधारण शाब्दिक समानता पर टिकी है। ऊँचा मिलान स्कोर केवल यह बताता है कि कोई वाक्य अपने स्रोत से कितना निकटता से लिया गया है, और विकृत पुनर्लेखन परिभाषा से ही निकटता से व्युत्पन्न होता है। बिल्ट-इन उदाहरण में टूल ने सही अंश पा लिया, फिर भी गलती नहीं पकड़ी, जो दिखाता है कि नियम-आधारित जाँच कहाँ टूटती है।

Saya harus berpikir cermat tentang cara hasil teknis dirumuskan, terutama ketika sebuah kalimat ditulis ulang agar terdengar lebih rapi. Kesalahan yang umum adalah mengubah penurunan kesalahan 20% menjadi peningkatan akurasi 20%. Karena penurunan kesalahan 20% mengecilkan sisa angka yang kecil, akurasi itu sendiri hampir tidak berubah. Angkanya bertahan setelah penulisan ulang, tetapi apa yang digambarkannya berubah sepenuhnya, dan kesalahan itu bisa lolos dari pembacaan cepat.

Evidence Desk adalah alat peramban yang saya buat bersama Codex untuk menangkap kesalahan seperti ini. Anda memberikan draf beserta file sumbernya. Alat ini memecah draf menjadi klaim, mencari bagian terdekat dalam sumber untuk setiap klaim, dan menjalankan pemeriksaan numerik, metrik, dan kausal yang eksplisit. Setiap klaim diberi label Didukung, Potensi ketidaksesuaian, atau Bukti tidak cukup. Codex membantu mengimplementasikan antarmuka, logika pemeriksaan, dan pengujian, sementara saya memutuskan apa yang harus diperiksa alat ini dan meninjau perilakunya.

Memeriksa adalah pekerjaan yang berbeda dari menulis. Pertanyaannya adalah apakah bukti benar-benar mengatakan apa yang dikatakan klaim, yang lebih sempit daripada menanyakan apakah klaim itu benar. Alih-alih memakai model generatif kedua sebagai peninjau, Evidence Desk melampirkan setiap peringatan pada bagian yang menjadi dasarnya beserta alasan yang dinyatakan, sehingga penulis punya sesuatu yang spesifik untuk dibantah.

Proses ini punya batas. Ekstraksi klaim dilakukan secara kasar, dan pencarian bergantung pada kemiripan kata sederhana dengan ambang batas yang ditetapkan secara manual. Skor kecocokan yang tinggi hanya menunjukkan seberapa dekat sebuah kalimat diturunkan dari sumbernya, dan tulisan ulang yang terdistorsi justru merupakan turunan yang dekat menurut definisinya. Dalam contoh bawaan, alat menemukan bagian yang benar tetapi tetap melewatkan ketidaksesuaiannya, yang menunjukkan di mana pemeriksaan berbasis aturan mulai gagal.

技術的な結果の表現について、特に文が読みやすくなるよう書き換えられる場面では、慎重に考えてきました。よくある誤りは、誤差を20%減らしたことを精度が20%向上したと言い換えることです。誤差の20%減少は残りの小さな数値を縮めるだけなので、精度そのものはほとんど変わりません。数値は書き換えを生き延びますが、それが表す内容は完全に変わってしまい、この誤りは素早い読みでは見落とされがちです。

Evidence Deskは、こうした誤りを見つけるためにCodexと共に作ったブラウザツールです。草稿と元の資料ファイルを渡すと、ツールは草稿を主張に分割し、それぞれについて資料の中で最も近い箇所を探し、数値・指標・因果関係の明示的なチェックを実行します。各主張には「裏付けあり」「不一致の可能性」「証拠不十分」のいずれかのラベルが付きます。Codexはインターフェース、検証ロジック、テストの実装を助けてくれました。私はツールが何を確認すべきかを決め、その振る舞いを検討しました。

検証は執筆とは別の仕事です。主張が真かどうかを問うよりも狭く、証拠が本当に主張の内容を述べているかを問います。第二の生成モデルを査読者にする代わりに、Evidence Deskは各警告に根拠となる箇所と理由を添えるので、書き手は具体的に反論できます。

この手法には限界があります。主張の抽出は粗く、検索は手作業で設定した閾値による単純な語彙の重なりに基づいています。一致スコアが高いことが示すのは、ある文が元の資料からどれほど密接に導かれたかだけであり、歪んだ言い換えも定義上は密接な派生です。組み込みの例では、ツールは正しい箇所を見つけましたが不一致は見逃しました。これは、ルールベースのチェックがどこで破綻するかを示しています。

Tive de pensar com cuidado sobre como os resultados técnicos são formulados, sobretudo quando uma frase é reescrita para soar mais limpa. Um erro comum é transformar uma redução de 20% no erro em uma melhoria de 20% na precisão. Como uma queda de 20% no erro reduz um número restante pequeno, a precisão quase não se move. O número sobrevive à reescrita, mas o que ele descreve muda por completo, e o erro pode escapar a uma leitura rápida.

O Evidence Desk é uma ferramenta de navegador que construí com o Codex para pegar erros como esse. Você fornece um rascunho e os arquivos de origem. A ferramenta divide o rascunho em afirmações, encontra para cada uma a passagem mais próxima nas fontes e executa verificações explícitas numéricas, métricas e causais. Cada afirmação recebe o rótulo Sustentada, Possível divergência ou Evidências insuficientes. O Codex ajudou a implementar a interface, a lógica de verificação e os testes, enquanto eu decidi o que a ferramenta deveria checar e revisei seu comportamento.

Verificar é um trabalho diferente de escrever. Ele pergunta se a evidência realmente diz o que a afirmação diz, o que é mais restrito do que perguntar se a afirmação é verdadeira. Em vez de usar um segundo modelo generativo como revisor, o Evidence Desk vincula cada alerta à passagem em que se baseia e a um motivo declarado, para que quem escreve tenha algo específico para contestar.

O processo tem limites. A extração de afirmações é rudimentar, e a recuperação é uma simples sobreposição lexical com limiares definidos manualmente. Uma pontuação alta mostra apenas quão de perto uma frase derivou de sua fonte, e uma reescrita distorcida é, por definição, uma derivação de perto. No exemplo embutido, a ferramenta encontrou a passagem certa, mas ainda deixou de detectar a divergência, o que mostra onde as verificações baseadas em regras falham.

Мне приходилось тщательно обдумывать, как формулируются технические результаты, особенно когда предложение переписывают, чтобы оно звучало аккуратнее. Распространённая ошибка — превратить снижение ошибки на 20% в повышение точности на 20%. Поскольку снижение ошибки на 20% уменьшает небольшой оставшийся показатель, сама точность почти не меняется. Число переживает переписывание, но то, что оно описывает, меняется полностью, и ошибка может ускользнуть при беглом чтении.

Evidence Desk — браузерный инструмент, который я создал вместе с Codex, чтобы ловить подобные ошибки. Вы передаёте черновик и файлы-источники. Инструмент делит черновик на утверждения, для каждого находит ближайший фрагмент в источниках и проводит явные численные, метрические и причинные проверки. Каждому утверждению присваивается метка «Подтверждено», «Возможное несоответствие» или «Недостаточно данных». Codex помог реализовать интерфейс, логику проверки и тесты, а я определял, что инструмент должен проверять, и анализировал его поведение.

Проверка — это иная задача, нежели написание текста. Она спрашивает, действительно ли доказательства говорят то, что утверждает фраза, и это уже, чем вопрос о том, истинно ли утверждение. Вместо второй генеративной модели в роли рецензента Evidence Desk прикрепляет каждое предупреждение к фрагменту, на котором оно основано, и к указанной причине, чтобы автор имел конкретный повод для возражения.

У процесса есть пределы. Выделение утверждений устроено грубо, а поиск опирается на простое лексическое совпадение с порогами, заданными вручную. Высокий балл совпадения показывает лишь, насколько близко предложение выведено из источника, а искажённый пересказ по определению является близким выводом. В встроенном примере инструмент нашёл нужный фрагмент, но всё же не заметил несоответствия, что показывает, где проверки на основе правил перестают работать.

在技术结果的表述上，我必须格外谨慎，尤其是当一句话被改写得更加流畅时。一个常见错误是把“错误率降低20%”说成“准确率提高20%”。由于错误率下降20%只是缩小了一个较小的剩余数字，准确率本身几乎不会变化。这个数字在改写中保留了下来，但它所描述的内容已经完全不同，而这种错误很容易在快速阅读时被忽略。

Evidence Desk 是我与 Codex 共同开发的一款浏览器工具，用于发现这类错误。你提供草稿及其源文件，工具会把草稿拆分为若干论断，为每个论断在源文件中找到最接近的段落，并进行明确的数值、指标和因果检查。每个论断会被标记为“有支持”“可能不一致”或“证据不足”之一。Codex 协助实现了界面、检查逻辑和测试，而我负责决定工具应检查什么，并审核其行为。

检查与写作是两项不同的工作。检查关注的是证据是否确实表达了论断的内容，这比判断论断是否为真要狭窄。Evidence Desk 没有使用第二个生成式模型充当审核者，而是将每一条警告与其依据的段落及明确理由一并呈现，使写作者有具体的内容可以反驳。

该流程存在局限。论断提取较为粗糙，检索依赖简单的词汇重叠和人工设定的阈值。较高的匹配分数只能说明一句话与其来源的接近程度，而扭曲的改写本身就是一种紧密的派生。在内置示例中，工具找到了正确段落，却仍未发现不一致，这说明了基于规则的检查在哪些地方会失效。