HeadlinesBriefing HeadlinesBriefing.com

ParqDB: Búsqueda de vectores en el navegador

Hacker News •
×

ParqDB demuestra búsqueda de vectores directamente en el navegador usando archivos Parquet sobre solicitudes HTTP de rango, eliminando la necesidad de un servidor de consulta. El sistema indexa 100,000 artículos de Wikipedia con incrustaciones MiniLM, construyendo un índice IVF-LVQ8 publicado como archivos Parquet inmutables en almacenamiento de objetos.

Cuando un usuario escribe una consulta, el navegador la incrusta en vectores 384d mediante ONNX/WASM, luego lee solo los rangos de bytes requeridos del almacenamiento. El tiempo de ejecución WASM maneja el enrutamiento del índice a través de los centroides globales LVQ8, poda usando pies de página para seleccionar grupos de filas, clasifica con distancia LVQ8 más top‑k limitado, y busca doc_ids para devolver filas de Wikipedia.

La arquitectura reemplaza el flujo tradicional navegador → base de datos vectorial → almacenamiento de objetos con navegador directo + WASM → rango HTTP → almacenamiento de objetos. Un perfilador en vivo muestra golpes de rango de memoria, bytes transferidos, candidatos seleccionados y tiempo de consulta. Las trazas de red muestran eventos de caché y red ordenados esperando solicitudes de rango.

Entidades clave: Ubicaciones: almacenamiento de objetos

Fuente: Hacker News · Resumido por HeadlinesBriefing