Bagaimana tim melakukan pengambilan berubah dengan cepat. Cursor baru-baru ini berhenti mencari kode Anda melalui embeddings dan hanya mengandalkan grep dan pencarian terindeks. Yang lain mengganti perangking ulang tradisional mereka dengan model baru seperti Jev. Salah satu jenis pengetahuan terpenting yang diandalkan agen adalah pengetahuan perusahaan: dokumentasi, tiket, pesan obrolan, wiki internal, dan kode. Namun sebagian besar tim tidak dapat mengetahui pengambilan mana yang paling baik.
Kapa adalah platform untuk mengindeks pengetahuan perusahaan Anda dan memungkinkan agen Anda mencarinya untuk konteks. Company Knowledge Bench adalah apa yang kami bangun untuk diri kami sendiri untuk meningkatkan sistem kami: 1.000 kasus evaluasi yang dianotasi dari data produksi nyata. Pengambilan tetap (RAG tradisional), grep agen, dan Kapa: 7 pengambil pada 1.000 kasus evaluasi. Kesimpulannya: model frontier dengan hanya grep cocok dengan pipeline pengambilan modern yang disetel pada 0,61, tetapi membutuhkan waktu lima kali lebih lama. Pengambil agen yang dioptimalkan (Kapa Deep) melakukan lebih baik lagi: 0,65 dalam waktu sekitar lima detik.
Tolok ukur publik tidak berfungsi untuk kami karena tidak ada yang mencakup semua kasus penggunaan dan jenis kueri yang kami lihat. Kasus penggunaan termasuk pengembang yang bertanya tentang produk melalui dokumen, spesifikasi API, kode, dan masalah GitHub; penjualan dan karyawan yang bertanya tentang produk melalui Slack, Confluence, Notion; tim dukungan yang menyusun balasan dari tiket lama. Kueri bervariasi dari pesan panjang hingga pencarian tepat seperti "webhook retry backoff config". Company Knowledge Bench memberi skor pengambilan berdasarkan kelengkapan, minimalitas, dan kualitas sumber.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing