HeadlinesBriefing HeadlinesBriefing.com

ParqDB: 浏览器向量搜索 via Parquet HTTP

Hacker News •
×

ParqDB 通过 Parquet 文件使用 HTTP 范围请求,直接在浏览器中进行向量搜索,消除了查询服务器的需求。系统使用 MiniLM 嵌入索引 100,000 篇维基百科文章,构建 IVF-LVQ8 索引,并将其发布为不可变的 Parquet 文件到对象存储。

当用户输入查询时,浏览器通过 ONNX/WASM 将其嵌入为 384d 向量,然后仅从存储中读取所需的字节范围。WASM 运行时通过全局 LVQ8 中心点处理索引路由,使用页脚裁剪以选择行组,使用 LVQ8 距离加上受限 top‑k 排序,并查找 doc_ids 以返回维基百科行。

架构将传统的浏览器 → 向量 DB → 对象存储流替换为直接浏览器 + WASM → HTTP 范围 → 对象存储。实时分析器显示内存范围命中、传输字节、已选候选项和查询时间。网络跟踪显示按顺序缓存和网络事件,等待范围请求。

关键实体:位置:对象存储

来源: Hacker News · 由HeadlinesBriefing整理摘要