HeadlinesBriefing HeadlinesBriefing.com

ParqDB: بحث المتجهات في المتصفح

Hacker News •
×

يُظهر ParqDB بحث المتجهات مباشرة في المتصفح باستخدام ملفات Parquet عبر طلبات HTTP النطاق، مما يلغي الحاجة إلى خادم استعلام. يقوم النظام بفهرسة 100,000 مقالة ويكيبيديا باستخدام تضمينات MiniLM، ويُبني فهرس IVF-LVQ8 منشورًا كملفات Parquet غير قابلة للتغيير على تخزين الكائنات.

عندما يكتب المستخدم استعلامًا، يقوم المتصفح بتضمينه في متجهات 384d عبر ONNX/WASM، ثم يقرأ فقط نطاقات البايت المطلوبة من التخزين. يدير وقت تشغيل WASM توجيه الفهرس عبر المراكز العالمية LVQ8، ويقَيِّن باستخدام التذييلات لاختيار مجموعات الصفوف، ويصنف باستخدام مسافة LVQ8 مع أعلى‑k محدودة، ويبحث عن doc_ids لإرجاع صفوف ويكيبيديا.

يستبدل التصميم التدفق التقليدي المتصفح → قاعدة بيانات المتجهات → تخزين الكائنات بتدفق مباشر المتصفح + WASM → نطاق HTTP → تخزين الكائنات. يُظهر موصل الأداء الحي ضربات نطاق الذاكرة، والبايت المنقولة، والمرشحين المختارين، ووقت الاستعلام. تتبع الشبكة تعرض أحداث التخزين المؤقت والشبكة المرتبة في انتظار طلبات النطاق.

الكيانات الرئيسية: المواقع: تخزين الكائنات

المصدر: Hacker News · لخّصه HeadlinesBriefing