HeadlinesBriefing HeadlinesBriefing.com

ParqDB: Busca de vetores no navegador

Hacker News •
×

ParqDB demonstra busca de vetores diretamente no navegador usando arquivos Parquet via requisições HTTP de faixa, eliminando a necessidade de um servidor de consulta. O sistema indexa 100.000 artigos da Wikipedia com embeddings MiniLM, construindo um índice IVF-LVQ8 publicado como arquivos Parquet imutáveis em armazenamento de objetos.

Quando um usuário digita uma consulta, o navegador a incorpora em vetores 384d via ONNX/WASM, depois lê apenas os intervalos de bytes necessários do armazenamento. O runtime WASM lida com o roteamento do índice através de centróides globais LVQ8, poda usando rodapés para selecionar grupos de linhas, classifica com distância LVQ8 mais top‑k limitado, e procura doc_ids para retornar linhas da Wikipedia.

A arquitetura substitui o fluxo tradicional navegador → banco de dados vetorial → armazenamento de objetos por fluxo direto navegador + WASM → faixa HTTP → armazenamento de objetos. Um profiler ao vivo mostra acertos de faixa de memória, bytes transferidos, candidatos selecionados e tempo de consulta. Traces de rede exibem eventos de cache e rede ordenados aguardando requisições de faixa.

Entidades principais: Localizações: armazenamento de objetos

Fonte: Hacker News · Resumido por HeadlinesBriefing