HeadlinesBriefing HeadlinesBriefing.com

DuckDB 2.0 Alpha ने S3 क्वेरी गति बढ़ाई

Hacker News •
×

DuckDB 2.0 alpha अब उपलब्ध है और विशेष रूप से S3 क्वेरीज़ के लिए महत्वपूर्ण प्रदर्शन सुधार प्रदान करता है। एक M5 लैपटॉप पर किए गए परीक्षण में, एक क्वेरी में 7.7 सेकंड लगे, जबकि संस्करण 1.5.5 में 18.8 सेकंड लगे थे — यह 2x से अधिक तेजी है। प्रमुख एवंरेसमेंट एसिंक्रोनस I/O है, जो नेटवर्क डाउनलोड को CPU डिकोडिंग कार्य से अलग करता है। कार्यकर्ता अनुक्रमित रूप से डाउनलोड, प्रतीक्षा और डिकोडिंग न करके, संस्करण 2.0 एक विशेष डाउनलोड पूल का उपयोग करता है जो कार्यकर्ताओं के लिए केवल डिकोडिंग पर ध्यान केंद्रित करते हुए दर्जनों रोज़-ग्रुप को फ्लाइट में रखता है। यह समानांत दृष्टिकोण नेटवर्क और CPU दोनों को एक साथ लगातार व्यस्त रखता है। परीक्षण में S3 से 2.2 GB का Parquet फ़ाइल जिसमें 228 मिलियन पंक्तियाँ थीं, का उपयोग किया गया। डेटाबेस इंजन के बजाय पाइपलाइन बनाने वाले उपयोगकर्ताओं को क्लाउड स्टोरेज के साथ कार्य करते समय अंतर सबसे अधिक महसूस होगा। पूर्ण परीक्षण के लिए डेटा आकार और मॉडलिंग दृष्टिकोण को समझना आवश्यक है। अपने परिणामों के हवाले देने से पहले अपने खुद के बेंचमार्क चलाएँ।

स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित