Mayoritas tim over-engineering stack RAG dengan langsung melompat ke embeddings dan database vektor, ketika pengguna hanya ingin menemukan dokumen spesifik. Sebelum memilih arsitektur, pertimbangkan lima faktor kunci: kemasuran data, karakteristik korpus, pola query, skala, dan kemampuan tim.

Mulai dengan BM25 dan pencarian teks lengkap (Elasticsearch, Postgres). Pendekatan ini tidak memiliki kompleksitas ML, tidak ada biaya per query, berjalan di bawah 10ms, dan mudah untuk debug. Ini menangani banyak kasus penggunaan secara efektif tanpa strategi chunking atau overhead evaluasi. Keterbatasan utamanya adalah tidak ada sinonim dan gagal pada query semantik.

Untuk query berbasis kata kunci dengan persamaan tepat dan terminologi khusus, BM25 adalah pilihan yang ideal. Ketika pengguna menulis query konversasional, gunakan LLM untuk menulis ulang mereka menjadi pencarian kata kunci yang bersih. Pendekatan ini menghabiskan sekitar $0.001 per query dan memungkinkan iterasi cepat melalui penyesuaian prompt sistem.

Dengan embeddings, hasil yang buruk memerlukan re-embedding seluruh korpus dan pengujian regresi. Dengan penulisan ulang query, perbaiki masalah dengan menyesuaikan prompt sistem dan segera uji. Mulai sederhana dan hanya maju ketika Anda memiliki data yang membuktikan bahwa Anda memerlukan kompleksitas tambahan.