रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) एक दस्तावेज़ कॉर्पस का उपयोग करके प्रश्नों का उत्तर देता है। विशिष्ट मूल्यांकन एक अच्छी तरह से लिखा गया प्रश्न एक व्यवस्थित कॉर्पस को भेजता है और जांचता है कि रिट्रीवर सही पैसेज लौटाता है या नहीं। उत्पादन संग्रह शायद ही कभी व्यवस्थित रहते हैं: नीति परिवर्तनों के बाद पुराने पृष्ठ बने रहते हैं, उपयोगकर्ता "warehuse" जैसी टाइपो टाइप करते हैं, OCR "SSO" को "SS0" पढ़ सकता है, और तालिकाएं पृष्ठों में विभाजित हो जाती हैं। प्रत्येक समस्या रिट्रीवर को गलत पैसेज पर भेज सकती है, जिससे भाषा मॉडल को गलत संदर्भ मिलता है।

फॉल्ट इंजेक्शन—जानबूझकर समस्याएं जोड़ना—के साथ एक छोटा रिट्रीवर सिस्टम की प्रतिक्रिया का परीक्षण करता है। मैंने एक पुराना नीति पृष्ठ, एक OCR वर्ण स्वैप, एक क्वेरी टाइपो, और एक विभाजित तालिका जोड़ी। खिलौना पाइपलाइन 4 छोटे दस्तावेज़ों और एक स्कोरिंग फ़ंक्शन का उपयोग करती है जो क्वेरी और दस्तावेज़ों को लोअरकेस टोकन में विभाजित करती है, प्रत्येक मेल खाने वाले टोकन के लिए 1 अंक देती है। उच्चतम स्कोर जीतता है।

पुराने दस्तावेज़ विरोधाभासी हैं: रिटर्न नीति 2026 में 60 दिन से 30 दिन में बदल गई, लेकिन इनजेशन ने पुराने पृष्ठ को हटाए बिना नया पृष्ठ जोड़ा। दोनों समान स्कोर करते हैं, इसलिए सूची क्रम 2024 की नीति लौटाता है। एक रीसेंसी टाईब्रेकर इसे ठीक करता है।

OCR त्रुटियां मेल खाने वाले शब्दों को छिपाती हैं: "Enterprise" "Enterpr1se" बन जाता है और "SSO" "SS0" बन जाता है। सभी दस्तावेज़ 0 पर बराबर हैं, रिटर्न नीति लौटाते हैं। एक नॉर्मलाइजेशन फ़ंक्शन टोकनाइजेशन से पहले ज्ञात OCR प्रतिस्थापनों को ठीक करता है।

मुख्य संस्थाएं: लोग: Sara Nóbrega