अधिकांश टीमें RAG स्टैक पर अत्यधिक इंजीनियरिंग करती हैं, embeddings और वेक्टर डेटाबेस पर जा लेती हैं, जबकि उपयोगकर्ता सिर्फ विशिष्ट दस्तावेज़ ढूँढना चाहते हैं। आर्किटेक्चर चुनने से पहले पांच मुख्य कारकों पर विचार करें: डेटा ताजगी, कोरपस की विशेषताएँ, क्वेरी पैटर्न, स्केल और टीम क्षमताएँ।

BM25 और फुल-टेक्स्ट सर्च (Elasticsearch, Postgres) के साथ शुरू करें। यह अभिआवृत्ति मालमिक जटिलता नहीं है, प्रति क्वेरी लागत शून्य है, 10ms के अंदर चलता है और आसानी से डिबग किया जा सकता है। यह chunking स्ट्रेटेजी या एवालुएशन ओवरहेड के बिना कई उपयोग केसों को प्रभावी ढंग से संभालता है। मुख्य सीमाएँ यह हैं कि समानार्थी शब्दों की कमी है और सेमांटिक क्वेरीज़ में विफल होता है।

कीवर्ड-भारी क्वेरीज़ के साथ सटीक मैच और प्रोप्राइसरी टर्मिनोलॉजी के लिए, BM25 आदर्श है। जब उपयोगकर्ता कॉन्वर्सेशनल क्वेरीज़ लिखते हैं, तो LLM का उपयोग करके उन्हें साफ़ कीवर्ड सर्च में बदलें। यह प्रति क्वेरी लगभग $0.001 खर्द करता है और सिस्टम प्रॉम्प्ट में बदलाव के माध्यम से तेज़ इटरेशन की अनुमति देता है।

एम्बेडिंग्स के साथ, खराब परिणामों के लिए पूरे कोरपस को री-एम्बेड करना और रिग्रेशन टेस्टिंग की आवश्यकता होती है। क्वेरी रीवर्टिंग के साथ, समस्याओं को सिस्टम प्रॉम्प्ट को समायोजित करके ठीक किया जा सकता है और तुरंत परीक्षण किया जा सकता है। सरल शुरू करें और केवल तब ही आगे बढ़ें जब आपके पास अधिक जटिलता की आवश्यकता होने के कारण डेटा साबित करे।