في يناير 2025، نشرت Aditi Singh ومعدّون مشاركون لها مسحاً حول التوليد المعزز بالاسترجاع الوكيلي، أو RAG الوكيلي. ويصفونه بأنه نظام بحث يحتوي بداخله على وكيل ذكاء اصطناعي. يستطيع هذا الوكيل التخطيط لخطوته التالية، والتحقق من نتائجه الخاصة، واستخدام أدوات أخرى مثل الآلة الحاسبة أو مربع البحث أثناء بحثه عن المعلومات. ويدرج المسح ذاته التقييم والكفاءة ضمن التحديات المفتوحة، وهذا هو الجزء الذي سعى هذا الاختبار إلى قياسه.
التوليد المعزز بالاسترجاع، أو RAG، يعني أن نموذج اللغة يجيب عن السؤال باستخدام نص استرجعه أولاً من مجموعة وثائق. أما البحث العادي فيبحث عن السؤال مرة واحدة كما هو مكتوب. ويضيف RAG الوكيلي وكيلاً يقرأ النتائج الأولى ويقرر إما التوقف أو كتابة بحث جديد. ينبغي أن تعثر عمليات البحث الإضافية على أدلة أفضل، لكن كل بحث إضافي يحتاج إلى استدعاء آخر لنموذج اللغة، ويضيف تأخيراً للمستخدم، ويمنح الوكيل فرصة أخرى لكتابة استعلام أسوأ من الاستعلام الأصلي.
شغّل المؤلف أربع طرق للاسترجاع على الأسئلة الـ298 نفسها و2000 ورقة حديثة من arXiv، وتولى مساعد البرمجة بالذكاء الاصطناعي Claude Code بناء الاختبار وتشغيله. وكانت الطرق هي: البحث العادي، وإعادة الترتيب التي تعيد ترتيب أول 50 نتيجة، وإعادة صياغة السؤال التي تنتج ثلاثة استعلامات بديلة، ووكيل يبحث حتى ثلاث مرات. وسُجّلت كل طريقة وفق عدد مرات وضعها الورقة الصحيحة ضمن أفضل خمس نتائج لديها.
وضع الوكيل الورقة الصحيحة ضمن أفضل خمس نتائج في 96.87 بالمئة من الأسئلة، مقابل 95.64 بالمئة للبحث العادي. وكان نطاق الفرق المحتمل البالغ +1.2 نقطة مئوية يتراوح بين -0.8 و+3.5، وهو نطاق يتضمن الصفر، لذلك لم يستطع الاختبار التمييز بين الطريقتين. فقد عثر الوكيل على أوراق فاتها البحث العادي، لكنه فقد أيضاً بعض الأوراق التي كان البحث العادي قد وجدها.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing