HeadlinesBriefing HeadlinesBriefing.com

ParqDB: Pencarian vektor di browser

Hacker News •
×

ParqDB menampilkan pencarian vektor langsung di browser menggunakan file Parquet melalui permintaan HTTP rentang, menghilangkan kebutuhan server query. Sistem mengindeks 100.000 artikel Wikipedia dengan embedding MiniLM, membangun indeks IVF-LVQ8 yang dipublikasikan sebagai file Parquet tidak dapat diubah di penyimpanan objek.

Saat pengguna mengetik kueri, browser meng-embednya ke dalam vektor 384d melalui ONNX/WASM, lalu membaca hanya rentang byte yang diperlukan dari penyimpanan. Runtime WASM menangani routing indeks melalui centroid global LVQ8, memangkas menggunakan footer untuk memilih grup baris, mengurutkan dengan jarak LVQ8 ditambah top‑k terbatas, dan mencari doc_ids untuk mengembalikan baris Wikipedia.

Arsitektur menggantikan aliran tradisional browser → DB vektor → penyimpanan objek dengan aliran langsung browser + WASM → rentang HTTP → penyimpanan objek. Profiler live menunjukkan hit rentang memori, byte yang ditransfer, kandidat yang dipilih, dan waktu kueri. Jejak jaringan menampilkan kejadian cache dan jaringan berurutan menunggu permintaan rentang.

Entitas utama: Lokasi: penyimpanan objek

Sumber: Hacker News · Diringkas oleh HeadlinesBriefing