ParqDB démontre une recherche vectorielle directement dans le navigateur en utilisant des fichiers Parquet via des requêtes HTTP de plage, éliminant le besoin d'un serveur de requête. Le système indexe 100 000 articles Wikipédia avec des embeddings MiniLM, construisant un index IVF-LVQ8 publié sous forme de fichiers Parquet immuables sur un stockage d'objets.
Lorsqu'un utilisateur saisit une requête, le navigateur l'embed dans des vecteurs 384d via ONNX/WASM, puis lit uniquement les plages de bytes nécessaires depuis le stockage. Le runtime WASM gère le routage de l'index à travers les centroïdes globaux LVQ8, tronque en utilisant les pieds de page pour sélectionner les groupes de lignes, classe avec la distance LVQ8 plus un top‑k limité, et recherche les doc_ids pour retourner les lignes Wikipédia.
L'architecture remplace le flux traditionnel navigateur → base de données vectorielle → stockage d'objets par flux direct navigateur + WASM → plage HTTP → stockage d'objets. Un profiler en direct montre les frappes de plage mémoire, les bytes transférés, les candidats sélectionnés et le temps de requête. Les traces réseau affichent les événements de cache et de réseau ordonnés en attente de requêtes de plage.
Entités clés : Emplacements : stockage d'objets
Source: Hacker News · Résumé par HeadlinesBriefing