जनवरी 2025 में, Aditi Singh और सह-लेखकों ने एजेंटिक रिट्रीवल-ऑगमेंटेड जेनरेशन, यानी एजेंटिक RAG, पर एक सर्वेक्षण प्रकाशित किया। वे इसे एक ऐसी खोज प्रणाली बताते हैं जिसके भीतर एक AI एजेंट होता है। यह एजेंट अगले कदम की योजना बना सकता है, अपने परिणामों की जाँच कर सकता है, और जानकारी खोजते समय कैलकुलेटर या सर्च बॉक्स जैसे अन्य उपकरणों का उपयोग कर सकता है। उसी सर्वेक्षण में मूल्यांकन और दक्षता को खुली चुनौतियों में गिना गया है, और यही वह हिस्सा है जिसे इस परीक्षण में मापने का लक्ष्य रखा गया था।
रिट्रीवल-ऑगमेंटेड जेनरेशन, या RAG, का अर्थ है कि एक भाषा मॉडल किसी दस्तावेज़ संग्रह से पहले पुनर्प्राप्त किए गए पाठ का उपयोग करके प्रश्न का उत्तर देता है। सामान्य खोज प्रश्न को जैसा लिखा गया है वैसे ही एक बार खोजती है। एजेंटिक RAG में एक ऐसा एजेंट जुड़ता है जो शुरुआती परिणाम पढ़ता है और तय करता है कि रुकना है या नई खोज करनी है। अधिक खोजों से बेहतर साक्ष्य मिलने चाहिए, लेकिन हर अतिरिक्त खोज के लिए भाषा मॉडल को एक और कॉल चाहिए, उपयोगकर्ता के लिए देरी बढ़ती है, और एजेंट को मूल क्वेरी से खराब क्वेरी लिखने का एक और अवसर मिलता है।
लेखक ने वही 298 प्रश्न और 2,000 हालिया arXiv शोधपत्र लेकर चार पुनर्प्राप्ति विधियाँ चलाईं। इस परीक्षण को AI कोडिंग सहायक Claude Code ने बनाया और चलाया। विधियाँ थीं: सामान्य खोज, एक रीरैंकर जो पहले 50 परिणामों को पुनर्व्यवस्थित करता है, एक प्रश्न-पुनर्लेखक जो तीन वैकल्पिक क्वेरी बनाता है, और एक एजेंट जो अधिकतम तीन बार खोज करता है। हर विधि को इस आधार पर अंक दिए गए कि वह सही शोधपत्र को अपने शीर्ष पाँच परिणामों में कितनी बार रख पाई।
एजेंट ने 96.87 प्रतिशत प्रश्नों में सही शोधपत्र को शीर्ष पाँच में रखा, जबकि सामान्य खोज के लिए यह 95.64 प्रतिशत था। +1.2 प्रतिशत अंकों के अंतर की संभावित सीमा -0.8 से +3.5 थी, जिसमें शून्य भी शामिल है, इसलिए परीक्षण दोनों के बीच अंतर स्पष्ट नहीं कर सका। एजेंट ने ऐसे शोधपत्र खोजे जो सामान्य खोज से छूट गए थे, लेकिन उसने कुछ ऐसे शोधपत्र भी खो दिए जो सामान्य खोज ने पाए थे।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित