HeadlinesBriefing HeadlinesBriefing.com

pg_vectorsearch: Ekstensi Pencarian Vektor Cepat

Hacker News •
×

pg_vectorsearch adalah ekstensi PostgreSQL untuk pencarian approximate nearest neighbor (ANN) berkinerja tinggi, yang dibagikan di GitHub dan dibahas di Hacker News. Saat ini masih dalam tahap alfa dan ditujukan untuk pengujian, bukan produksi. Peningkatan versi antar-prarilis mungkin tidak dapat dilakukan, sehingga pengguna sebaiknya merencanakan untuk menghapus dan membuat ulang ekstensi beserta indeksnya. Changelog mencantumkan masalah yang diketahui.

Indeks PRISM milik ekstensi ini (Partitioned Routing Index for Similarity Matching) adalah metode akses indeks yang secara konsep mirip dengan IVFFlat pada pgvector, tetapi dibangun berdasarkan kuantisasi RaBitQ, perutean hierarkis, dan partisi. Indeks ini diimplementasikan dalam C dan mendukung perhitungan jarak SIMD (AVX2, AVX512, NEON), penyisipan, pembaruan, dan penghapusan dinamis, serta penyeimbangan ulang posting list melalui prism_rebalance. Proyek ini menyatakan bahwa PRISM jauh lebih cepat daripada IVFFlat dan HNSW milik pgvector, baik untuk kueri maupun pembuatan indeks, dan bahwa pada dataset 100 juta vektor, PRISM mengungguli HNSW dengan recall yang setara pada instans yang memiliki seperempat memori.

PRISM menggunakan pohon centroid hierarkis untuk mempartisi vektor ke dalam klaster, dan bergantung pada buffer cache PostgreSQL agar pohon tersebut tetap berada di memori. Vektor dikuantisasi dengan RaBitQ dan disimpan dalam posting list. Batas kesalahannya memungkinkan pencarian mengecualikan vektor yang tidak mungkin menjadi tetangga terdekat, sehingga mengurangi jumlah pengurutan ulang presisi penuh yang diperlukan.

Pengguna dapat menyimpan vektor di kolom vec32 atau vec16 bawaan, atau membangun indeks PRISM langsung pada kolom vector atau halfvec pgvector yang sudah ada tanpa mengubah tabel atau kueri mereka. Kedua jalur ini menggunakan operator dan pengaturan penyetelan yang sama, seperti prism.nprobe untuk menyeimbangkan recall dan kecepatan.

Sumber: Hacker News · Diringkas oleh HeadlinesBriefing