كيف تقوم الفرق بالاسترجاع يتغير بسرعة. توقف Cursor مؤخرًا عن البحث في الكود الخاص بك عبر التضمينات لصالح الاعتماد فقط على grep والبحث المفهرس. آخرون يستبدلون معيدات الترتيب التقليدية الخاصة بهم بنماذج جديدة مثل Jev. أحد أهم أنواع المعرفة التي يعتمد عليها الوكلاء هي معرفة الشركة: التوثيق، التذاكر، رسائل الدردشة، الويكيات الداخلية، والكود. ومع ذلك، لا تستطيع معظم الفرق تحديد أي استرجاع يعمل بشكل أفضل عليها.
Kapa هو منصة لفهرسة معرفة شركتك والسماح لوكلائك بالبحث فيها للحصول على السياق. Company Knowledge Bench هو ما بنيناه لأنفسنا لتحسين نظامنا الخاص: 1,000 حالة تقييم مشروحة من بيانات إنتاج حقيقية. الاسترجاع الثابت (RAG التقليدي)، grep الوكيل، وKapa: 7 أدوات استرجاع على 1,000 حالة تقييم. الخلاصة: نموذج حدودي مع grep فقط يطابق خط أنابيب استرجاع حديث مضبوط عند 0.61، لكنه يستغرق خمس مرات أطول. أداة استرجاع وكيل محسنة (Kapa Deep) تفعل أفضل: 0.65 في حوالي خمس ثوانٍ.
المعايير العامة لا تعمل لصالحنا لأن أيا منها لا يغطي جميع حالات الاستخدام وأنواع الاستعلامات التي نراها. تشمل حالات الاستخدام المطورين الذين يسألون عن منتج عبر المستندات، مواصفات API، الكود، ومشكلات GitHub؛ المبيعات والموظفين الذين يسألون عن المنتجات عبر Slack وConfluence وNotion؛ فرق الدعم التي تصوغ ردودًا من التذاكر القديمة. تختلف الاستعلامات من الرسائل الطويلة إلى عمليات البحث الدقيقة مثل "webhook retry backoff config". يسجل Company Knowledge Bench الاسترجاع على الاكتمال، الأقلية، وجودة المصدر.
المصدر: Hacker News · لخّصه HeadlinesBriefing