রিট্রিভাল-অগমেন্টেড জেনারেশন (RAG) একটি নথি কর্পাস ব্যবহার করে প্রশ্নের উত্তর দেয়। সাধারণ মূল্যায়ন একটি ভালভাবে লেখা প্রশ্ন একটি পরিচ্ছন্ন কর্পাসে পাঠায় এবং পরীক্ষা করে যে রিট্রিভার সঠিক অনুচ্ছেদটি ফেরত দেয় কিনা। উৎপাদন সংগ্রহগুলি খুব কমই পরিচ্ছন্ন থাকে: নীতি পরিবর্তনের পরে পুরানো পৃষ্ঠাগুলি থেকে যায়, ব্যবহারকারীরা "warehuse" এর মতো টাইপো টাইপ করে, OCR "SSO" কে "SS0" হিসাবে পড়তে পারে, এবং টেবিলগুলি পৃষ্ঠা জুড়ে বিভক্ত হয়। প্রতিটি সমস্যা রিট্রিভারকে ভুল অনুচ্ছেদে পাঠাতে পারে, ভাষা মডেলকে ভুল প্রসঙ্গ দেয়।

ফল্ট ইনজেকশন—ইচ্ছাকৃতভাবে সমস্যা যোগ করা—সহ একটি ছোট রিট্রিভার সিস্টেমের প্রতিক্রিয়া পরীক্ষা করে। আমি একটি পুরানো নীতি পৃষ্ঠা, একটি OCR অক্ষর অদলবদল, একটি ক্যোয়ারী টাইপো, এবং একটি বিভক্ত টেবিল যোগ করেছি। খেলনা পাইপলাইনটি 4টি ছোট নথি এবং একটি স্কোরিং ফাংশন ব্যবহার করে যা ক্যোয়ারী এবং নথিগুলিকে ছোট হাতের টোকেনে বিভক্ত করে, প্রতিটি মিলে যাওয়া টোকেনের জন্য 1 পয়েন্ট দেয়। সর্বোচ্চ স্কোর জয়ী হয়।

পুরানো নথি বিরোধিতা করে: রিটার্ন নীতি 2026 সালে 60 দিন থেকে 30 দিন এ পরিবর্তিত হয়েছে, কিন্তু ইনজেশন পুরানো পৃষ্ঠাটি না সরিয়ে নতুন পৃষ্ঠাটি যোগ করেছে। উভয়ই সমান স্কোর করে, তাই তালিকার ক্রম 2024 সালের নীতি ফেরত দেয়। একটি রিসেন্সি টাইব্রেকার এটি ঠিক করে।

OCR ত্রুটিগুলি মিলে যাওয়া শব্দগুলি লুকিয়ে রাখে: "Enterprise" "Enterpr1se" হয়ে যায় এবং "SSO" "SS0" হয়ে যায়। সমস্ত নথি 0 এ টাই করে, রিটার্ন নীতি ফেরত দেয়। একটি নরমালাইজেশন ফাংশন টোকেনাইজেশনের আগে পরিচিত OCR প্রতিস্থাপনগুলি সংশোধন করে।

মূল সত্তা: ব্যক্তি: Sara Nóbrega