HeadlinesBriefing favicon HeadlinesBriefing.com

Manticore Search Menambahkan Chunking Vektor

Hacker News •
×

Misalkan Anda membangun pencarian atas dokumentasi internal tim Anda — panduan, runbook, postmortem. Anda memiliki tabel dengan embedding otomatis: Anda menyisipkan teks, Manticore menjalankan model dan mengisi kolom vektor untuk Anda. Anda memuat dokumen 4.000 kata. Penyisipan berhasil. Pencarian berfungsi. Kecuali model memiliki jendela input 512 token, dan dokumen itu sekitar 5.000 token panjang. Model membaca 380 kata pertama dan membuang 3.600 kata lainnya.

Manticore kini menanganinya di definisi tabel: tambahkan chunk_strategy ke kolom vektor di CREATE TABLE, dan Manticore memecah setiap dokumen menjadi potongan, meng-embedding setiap potongan, dan mencari semua. Lima strategi: truncate, mean, fixed, recursive, sentence. Sebuah dokumen tetap satu hasil pencarian. Potongan bersaing individu, dan Manticore mengembalikan dokumen sekali, dengan knn_dist() melaporkan jarak ke potongan terdekatnya. k menghitung dokumen, bukan potongan.

Diukur pada manual Manticore (189 halaman, ~298k kata): recall@5 naik dari 55,1% ke 83,3% dan MRR dari 0,44 ke 0,70, pada ~2,5× RAM dan ~4× waktu ingest. Kueri tidak pernah di-chunk. Kueri cukup pendek untuk di-embedding utuh; hanya dokumen tersimpan yang dipecah.