HeadlinesBriefing favicon HeadlinesBriefing.com

असंबंधित PDFs के लिए मल्टी-डॉक्यूमेंट RAG

Towards Data Science •
×

एक दस्तावेज़ से परे रिट्रीवल सिस्टम बनाने के लिए आमतौर पर साझा फ़ील्ड्स वाले इंडेक्स की आवश्यकता होती है। फिर भी, कई फोल्डरों में सामान्य मेटाडेटा के बिना असंबंधित फाइलें होती हैं। पूछें कि वे कौन सी कॉलम साझा करते हैं। उन सभी में कोई ग्राहक, राशि या प्रभावी तिथि समान अर्थ नहीं रखती। जब दस्तावेज़ों में साझा कॉलम नहीं होते हैं, तो पारंपरिक इंडेक्सिंग विफल हो जाती है। तैयारी इसके बजाय दो आर्टिफैक्ट्स में बदल जाती है: प्रति फाइल एक सारांश लाइन और प्रत्येक फाइल का अपना विषय सूची। इससे जटिल स्कीमा मैपिंग समाप्त हो जाती है।

आर्किटेक्चर सारांश जनरेट करने के लिए रीडर के बजाय राउटर पर निर्भर करता है। रिट्रीवल दो स्तरों तक राउट होता है, जिससे किसी भी पूर्ण सामग्री को प्रॉम्प्ट में प्रवेश करने से पहले प्रासंगिक फाइलों का चयन होता है। यह नेस्टेड आउटलाइन विधि संदर्भ विंडो को ओवरलोड किए बिना सटीकता सुनिश्चित करती है। यह फ्रेमवर्क अनस्ट्रक्चर्ड आर्काइव के लिए डिज़ाइन की गई एंटरप्राइज डॉक्यूमेंट इंटेलिजेंस पर एक श्रृंखला का हिस्सा है।

वैलिडेशन में 63 सार्वजनिक PDFs की एक फोल्डर का उपयोग किया जाता है जो कुल 4,211 पेज हैं, जिसमें NIST सुरक्षा नियंत्रण, मशीन लर्निंग पेपर और मार्केट रिपोर्ट शामिल हैं। रूटिंग पढ़ाई शुरू होने से पहले अप्रासंगिक फाइलों को फ़िल्टर कर देती है। हालाँकि फ्लैट फाइल लिस्ट आखिरकार स्केल करना बंद कर देती हैं, यह नेविगेशन विविध संग्रह को संभालने के लिए एक मजबूत आधार प्रदान करती है।

मुख्य एंटिटीज़: कंपनियाँ: NIST, वर्ल्ड बैंक, arXiv