প্রযুক্তিগত ফলাফল কীভাবে প্রকাশ করা হয়, তা আমাকে সতর্কভাবে ভাবতে হয়েছে, বিশেষ করে যখন কোনো বাক্য আরও পরিষ্কার শোনানোর জন্য পুনর্লিখিত হয়। একটি সাধারণ ভুল হলো ত্রুটিতে ২০% হ্রাসকে নির্ভুলতায় ২০% উন্নতিতে রূপান্তর করা। ত্রুটিতে ২০% হ্রাস একটি ছোট অবশিষ্ট সংখ্যাকে ছোট করে, তাই নির্ভুলতা নিজেই খুব সামান্যই নড়ে। সংখ্যাটি পুনর্লিখনে টিকে থাকে, কিন্তু সে যা বর্ণনা করে তা সম্পূর্ণ বদলে যায়, এবং দ্রুত পড়ায় ত্রুটিটি চোখ এড়িয়ে যেতে পারে।
Evidence Desk হলো একটি ব্রাউজার টুল, যা আমি Codex-এর সঙ্গে এমন ভুল ধরার জন্য বানিয়েছি। আপনি একটি খসড়া এবং তার উৎস ফাইল দেন। টুলটি খসড়াকে দাবিতে ভাগ করে, প্রতিটি দাবির জন্য উৎসে নিকটতম অনুচ্ছেদ খুঁজে বের করে, এবং স্পষ্ট সংখ্যাগত, মেট্রিক ও কার্যকারণ পরীক্ষা চালায়। প্রতিটি দাবিকে Supported, Potential mismatch বা Insufficient evidence লেবেল দেওয়া হয়। Codex ইন্টারফেস, পরীক্ষার যুক্তি ও টেস্ট বাস্তবায়নে সহায়তা করেছে, আর আমি ঠিক করেছি টুলটি কী যাচাই করবে এবং তার আচরণ পর্যালোচনা করেছি।
যাচাই করা লেখার চেয়ে আলাদা কাজ। এটি জিজ্ঞেস করে প্রমাণ সত্যিই দাবিটি যা বলে তা বলছে কি না, যা দাবিটি সত্য কি না সেই প্রশ্নের চেয়ে সংকীর্ণ। দ্বিতীয় একটি জেনারেটিভ মডেলকে পর্যালোচক বানানোর বদলে, Evidence Desk প্রতিটি সতর্কবার্তাকে যে অনুচ্ছেদের ওপর নির্ভর করে এবং একটি বলা কারণের সঙ্গে জুড়ে দেয়, যাতে লেখক নির্দিষ্টভাবে আপত্তি জানাতে পারেন।
এই প্রক্রিয়ার সীমাবদ্ধতা আছে। দাবি নিষ্কাশন সরল, এবং অনুসন্ধান হাতে নির্ধারিত সীমা সহ সাধারণ শব্দ-মিলের ওপর চলে। উচ্চ মিল-স্কোর শুধু বলে একটি বাক্য তার উৎস থেকে কতটা ঘনিষ্ঠভাবে নেওয়া হয়েছে, আর বিকৃত পুনর্লিখন সংজ্ঞা অনুযায়ীই ঘনিষ্ঠ উদ্ভব। অন্তর্নির্মিত উদাহরণে টুলটি সঠিক অনুচ্ছেদ খুঁজে পেয়েছিল, তবু অমিলটি ধরতে পারেনি, যা দেখায় নিয়মভিত্তিক যাচাই কোথায় ভেঙে পড়ে।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing