तकनीकी परिणामों को कैसे व्यक्त किया जाता है, इस पर मुझे सावधानी से सोचना पड़ा है, खासकर तब जब कोई वाक्य और साफ़ सुनाई देने के लिए दोबारा लिखा जाता है। एक आम गलती है त्रुटि में 20% कमी को सटीकता में 20% सुधार बना देना। चूंकि त्रुटि में 20% कमी एक छोटी बची हुई संख्या को घटाती है, इसलिए सटीकता स्वयं मुश्किल से बदलती है। संख्या पुनर्लेखन में बच जाती है, लेकिन वह जो वर्णन करती है वह पूरी तरह बदल जाता है, और त्रुटि जल्दी पढ़ने में नज़र से छूट सकती है।
Evidence Desk एक ब्राउज़र टूल है जिसे मैंने Codex के साथ मिलकर ऐसी गलतियाँ पकड़ने के लिए बनाया। आप एक ड्राफ़्ट और उसकी स्रोत फ़ाइलें देते हैं। टूल ड्राफ़्ट को दावों में बाँटता है, हर दावे के लिए स्रोतों में सबसे नज़दीकी अंश खोजता है, और स्पष्ट संख्यात्मक, मीट्रिक और कारण-संबंधी जाँच चलाता है। हर दावे को Supported, Potential mismatch, या Insufficient evidence का लेबल मिलता है। Codex ने इंटरफ़ेस, जाँच-तर्क और टेस्ट लागू करने में मदद की, जबकि मैंने तय किया कि टूल क्या जाँचे और उसके व्यवहार की समीक्षा की।
जाँचना लिखने से अलग काम है। यह पूछता है कि क्या प्रमाण वास्तव में वही कहता है जो दावा कहता है, जो इस सवाल से संकरा है कि दावा सच है या नहीं। दूसरे जनरेटिव मॉडल को समीक्षक बनाने के बजाय, Evidence Desk हर चेतावनी को उस अंश और बताए गए कारण के साथ जोड़ता है, ताकि लेखक के पास विरोध करने के लिए ठोस आधार हो।
इस प्रक्रिया की सीमाएँ हैं। दावों का निष्कर्षण सरल है, और पुनर्प्राप्ति हाथ से तय सीमाओं के साथ साधारण शाब्दिक समानता पर टिकी है। ऊँचा मिलान स्कोर केवल यह बताता है कि कोई वाक्य अपने स्रोत से कितना निकटता से लिया गया है, और विकृत पुनर्लेखन परिभाषा से ही निकटता से व्युत्पन्न होता है। बिल्ट-इन उदाहरण में टूल ने सही अंश पा लिया, फिर भी गलती नहीं पकड़ी, जो दिखाता है कि नियम-आधारित जाँच कहाँ टूटती है।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित