HeadlinesBriefing favicon HeadlinesBriefing.com

RAG पुनर्व्यवस्थाकर्ता वास्तव में कैसे काम करता है

Towards Data Science •
×

जब RAG पुनर्प्राप्ति निराश करती है, तो इंजीनियरों को 'रीरैंकर' जोड़ने के लिए कहा जाता है। लेकिन समझाने अक्सर वास्तुकला स्तर पर ही रुक जाते हैं—cross-encoder, ध्यान तंत्र, या प्रासंगिकता-प्रशिक्षित मॉडल—बिना बताए मॉडल ने वास्तव में क्या सीखा है। यह अंतर महत्वपूर्ण है: टीमें पुनर्व्यवस्थाकर्ते का उपयोग正当ize नहीं कर सकतीं या यह पता नहीं लगा सकतीं कि सस्ते कीवर्ड लुकअप पर्याप्त कब है। ईमानदार उत्तर यह है कि पुनर्व्यवस्थाकर्ता, नीचे वाले एम्बेडिंग चरण से स्मार्ट नहीं है। यह स्वतंत्र पाठों के बजाय प्रश्न-प्रस्तुति जोड़े पर स्थित same सांख्यिकीय टोकन सहसंबंध का उपयोग करता है। एक बार समझने के बाद, पुनर्व्यवस्थाकर्ते का उपयोग करने का निर्णय 'क्योंकि ट्यूटोरियल ने कहा' से बदलकर 'केवल जब यह विशिष्ट व्यापार-बदलाव लायक हो' हो जाता है। लेख तंत्र से गुजरता है: पुनर्व्यवस्थाकर्ता एक cross-encoder ट्रांसफॉर्मर है जिसे प्रासंगिकता लेबल पर प्रशिक्षित किया गया है, जो टोकन सहसंबंध पर आधारित स्कोर Produces, न कि असली समझ। यह एंटरप्राइज RAG प्रणालियों के लिए तीन वास्तुकला परिणामों को उजागर करता है। एक साथी नोटबुक उपयोगकर्ताओं को PDFs पर पुनर्व्यवस्थाकर्ते का परीक्षण करने lets, जो रैंकिंग चलाने वाले कीवर्ड दिखाता है। यह लेख उद्यम दस्तावेज बुद्धिमत्ता श्रृंखला का भाग I है, एम्बेडिंग तिपहिया (2A/2B/2C) के साथ alongside, और Prompt, Context, Loopframework पर बनाया गया है।