كان عليّ أن أفكر بعناية في طريقة صياغة النتائج التقنية، خاصةً عندما تُعاد كتابة جملة لتبدو أنظف. من الأخطاء الشائعة تحويل انخفاض في الخطأ بنسبة 20% إلى تحسن في الدقة بنسبة 20%. ولأن خفض الخطأ بنسبة 20% يقلص رقمًا متبقيًا صغيرًا، فإن الدقة نفسها بالكاد تتغير. يبقى الرقم قائمًا بعد إعادة الصياغة، لكن ما يصفه يتغير تمامًا، ويمكن للخطأ أن يمر دون أن يلاحظه القارئ السريع.
Evidence Desk أداة متصفح طورتها مع Codex لاكتشاف أخطاء كهذه. تقدم مسودة وملفات مصادرها. تقسم الأداة المسودة إلى ادعاءات، وتجد لكل ادعاء أقرب مقطع في المصادر، وتجري فحوصات عددية ومقياسية وسببية صريحة. ويُوسم كل ادعاء بـ مدعوم أو احتمال عدم تطابق أو أدلة غير كافية. ساعد Codex في تنفيذ الواجهة ومنطق الفحص والاختبارات، بينما قررت أنا ما يجب أن تفحصه الأداة وراجعت سلوكها.
الفحص مهمة مختلفة عن الكتابة. فهو يسأل هل تقول الأدلة فعلًا ما يقوله الادعاء، وهذا سؤال أضيق من سؤال هل الادعاء صحيح. وبدلًا من استخدام نموذج توليدي ثانٍ مراجعًا، تُرفق Evidence Desk كل تحذير بالمقطع الذي يعتمد عليه وبسبب معلن، ليكون لدى الكاتب ما يعترض عليه بدقة.
للعملية حدود. فاستخلاص الادعاءات بسيط، والاسترجاع قائم على التطابق اللفظي البسيط بعتبات محددة يدويًا. ودرجة التطابق العالية تدل فقط على مدى قرب الجملة من مصدرها، وإعادة الصياغة المشوهة هي بحكم تعريفها اشتقاق قريب. وفي المثال المدمج وجدت الأداة المقطع الصحيح لكنها لم تكشف التعارض، وهذا يوضح أين تفشل الفحوص القائمة على القواعد.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing