HeadlinesBriefing favicon HeadlinesBriefing.com

نظام RAG متعدد المستندات لملفات PDF غير المرتبطة

Towards Data Science •
×

يتطلب بناء نظام استرجاع يتجاوز مستنداً واحداً عادةً فهرساً يحتوي على حقول مشتركة. ومع ذلك، تحتوي العديد من المجلدات على ملفات غير مرتبطة تفتقر إلى بيانات وصفية مشتركة. اسأل عن العمود المشترك بينهم. لا يوجد عميل أو مبلغ أو تاريخ سريان يحمل نفس المعنى عبر جميعها. عندما تفتقر المستندات إلى أعمدة مشتركة، يفشل الفهرسة التقليدية. بدلاً من ذلك، تتقلص التحضيرات إلى عنصرين رئيسيين: سطر ملخص واحد لكل ملف بالإضافة إلى جدول المحتويات الخاص بكل ملف. يلغي هذا الحاجة إلى تعيين مخططات معقدة.

تعتمد الهندسة المعمارية على جهاز توجيه بدلاً من قارئ لتوليد الملخصات. يمر الاسترجاع بمستويين، مما يحدد الملفات ذات الصلة قبل أن يدخل أي محتوى كامل إلى النموذج. تضمن هذه الطريقة المتداخلة الدقة دون إرباك نوافذ السياق. ينتمي هذا الإطار إلى سلسلة حول ذكاء المستندات المؤسسية المصممة للأرشيفات غير المهيكلة.

تستخدم التحقق من الصحة مجلداً يحتوي على 63 ملف PDF عام بإجمالي 4,211 صفحة، بما في ذلك ضوابط الأمان الخاصة بـ NIST، وأوراق البحث في تعلم الآلة، وتقارير السوق. يقوم التوجيه بتصفية الملفات غير ذات الصلة قبل بدء القراءة. وعلى الرغم من أن قوائم الملفات المسطحة تتوقف عن القابلية للتوسع في النهاية، فإن هذا التنقل يوفر أساساً متيناً للتعامل مع المجموعات المتنوعة.

الكيانات الرئيسية: شركات: NIST، البنك الدولي، arXiv