HeadlinesBriefing HeadlinesBriefing.com

أجزاء الجداول بمستوى الصف لاسترجاع RAG

Towards Data Science •
×

عندما يستهدف السؤال صفاً واحداً داخل جدول، فإن استرجاع الجدول بأكمله يجبر نموذج التوليد على تصفية 39 صفاً غير ذي صلة. الوحدة التي تطابق السؤال هي صف واحد، وليس المستطيل بأكمله. تبني هذه المقالة فهارس على مستوى الصف تحوّل كل صف بيانات إلى جزء قابل للاسترجاع منفصل، بحيث يعيد استعلام مثل «ما الحد الأقصى لسرقة المركبات؟» هذا الصف بالضبط مع رؤوس أعمدته.

تقوم دالة serialize_table_rows بمسح line_df الخاص بالمحلل، وتجميع الأسطر المتتالية التي تحتوي على رموز الأنابيب في جداول، وقراءة صف الرأس فوق الفاصل، وإصدار صف إخراج واحد لكل سطر بيانات. يُسلسل كل جزء بالصيغة col: val | col: val، التي يقرأها نموذج اللغة الكبير بشكل طبيعي، وتتكامل مع مسترجعات الكلمات المفتاحية والتضمينات الحالية دون تغييرات.

الفهرس على مستوى الصف هو مقياس ثانٍ، وليس بديلاً. يوجه الموزع عمليات البحث المستهدفة إلى الفهرس على مستوى الصف، وتُطلق أسئلة التوليف عبر جميع صفوف الجدول نفسه (يتم اكتشافها عبر table_id المشترك)، وتجمع الاستعلامات المختلطة بين الاثنين. تستمر المسترجعات اللاحقة التي لا تفعّل الفهرسة على مستوى الصف في العمل دون تغيير، بينما تقرأ تلك التي تفعّلها الإطار الثاني صراحةً.

الكود القابل للتشغيل متاح في doc-intel/notebooks-vol1، حيث يوضح serialize_table_rows على الجدول 1 من ورقة Attention ويعيد صفاً واحداً بدلاً من الجدول بأكمله.

المصدر: Towards Data Science · لخّصه HeadlinesBriefing