HeadlinesBriefing HeadlinesBriefing.com

ParqDB: ব্রাউজারে ভেক্টর সার্চ

Hacker News •
×

ParqDB ব্রাউজারে সরাসরি ভেক্টর সার্চ প্রদর্শন করে, Parquet ফাইল ব্যবহার করে HTTP রেঞ্জ রিকোয়েস্ট এর মাধ্যমে, সার্ভার ছাড়াই। সিস্টেমটি 100,000 উইকিপিডিয়া আর্টিকেল কে MiniLM এম্বেডিং দিয়ে ইনডেক্স করে, একটি IVF-LVQ8 ইনডেক্স তৈরি করে যা অপরিবর্তনীয় Parquet ফাইল হিসেবে অবজেক্ট স্টোরেজে প্রকাশিত হয়।

যখন ব্যবহারকারী একটি কুয়েরি টাইপ করেন, ব্রাউজার এটি 384d ভেক্টরে ONNX/WASM এর মাধ্যমে এম্বেড করে, তারপর কেবল প্রয়োজনীয় বাইট রেঞ্জ স্টোরেজ থেকে পড়ে। WASM রানটাইম ইনডেক্স রাউটিংকে গ্লোবাল LVQ8 সেন্ট্রয়েডের মাধ্যমে পরিচালনা করে, ফুটার ব্যবহার করে রো গ্রুপ নির্বাচন করে প্রুন করে, LVQ8 দূরত্ব + সীমিত টপ‑k দিয়ে র্যাঙ্ক করে, এবং doc_ids লুকআপ করে উইকিপিডিয়া রো ফেরত দেয়।

আর্কিটেকচারটি ঐতিহ্যবাহী ব্রাউজার → ভেক্টর ডিবি → অবজেক্ট স্টোরেজ ফ্লোকে সরাসরি ব্রাউজার + WASM → HTTP রেঞ্জ → অবজেক্ট স্টোরেজ দিয়ে প্রতিস্থাপন করে। একটি লাইভ প্রোফাইলার মেমরি রেঞ্জ হিট, স্থানান্তরিত বাইট, নির্বাচিত প্রার্থী এবং কুয়েরি সময় দেখায়। নেটওয়ার্ক ট্রেস ক্যাশ এবং নেটওয়ার্ক ইভেন্টগুলোকে রেঞ্জ রিকোয়েস্টের অপেক্ষায় প্রদর্শন করে।

মূল সত্তা: অবস্থান: অবজেক্ট স্টোরেজ

উৎস: Hacker News · সারাংশ: HeadlinesBriefing