HeadlinesBriefing favicon HeadlinesBriefing.com

TIN: Postgres फुल-टेक्स्ट सर्च एक्सटेंशन GA रिलीज़

Hacker News •
×

हमारे ग्राहकों द्वारा सबसे अधिक अनुरोध की जाने वाली Postgres सुविधाओं में से एक फुल-टेक्स्ट सर्च है। आज, हम TIN की घोषणा करते हुए उत्साहित हैं: Postgres के लिए एक तेज़, पूर्ण-विशेषताओं वाला, विश्वसनीय फुल-टेक्स्ट सर्च एक्सटेंशन। TIN का अर्थ है "Text INdex", और यह वही करता है। TIN सभी Postgres और Neki डेटाबेस के लिए GA रिलीज़ के रूप में तुरंत उपलब्ध है। इसे आज़माएं: CREATE INDEX an_index_name ON table_name USING tin(text_column_name); SELECT * FROM table_name WHERE text_column_name ==> 'some words'। हमने TIN इसलिए बनाया क्योंकि हम मानते हैं कि एक अच्छे टेक्स्ट इंडेक्स को सपोर्ट करना चाहिए: बूलियन एक्सप्रेशन, फ्रेज़ क्वेरीज़, और स्पैन क्वेरीज़। टर्म्स के लिए फज़ी, वाइल्डकार्ड, और रेगुलर-एक्सप्रेशन मैचिंग। केस और एक्सेंट फोल्डिंग। COUNT(*) क्वेरीज़ और BM25-स्कोर्ड टॉप-के क्वेरीज़। Postgres में एक अच्छे टेक्स्ट इंडेक्स को उन सभी आवश्यकताओं का समर्थन करना चाहिए, साथ ही जॉइन्स, फुल-टेक्स्ट और अन्य कॉलम प्रकारों में जटिल WHERE क्लॉज़, निरंतर अपडेट, रेप्लिकेशन, बैकअप, और सही ट्रांजैक्शन विज़िबिलिटी को भी संभालना चाहिए। हालांकि Postgres के लिए पहले से ही कम से कम तीन मौजूदा टेक्स्ट-सर्च इंडेक्स हैं, लेकिन उनमें से कोई भी उन सभी आवश्यकताओं को पूरा नहीं करता। TIN करता है। TIN वास्तव में, अविश्वसनीय रूप से तेज़ भी है। हमने उपरोक्त सभी उपयोग मामलों और अधिक के लिए प्रदर्शन का आकलन करने के लिए बेंचमार्क चलाए। हमने संयोजन, वियोजन, और फ्रेज़ क्वेरीज़ वाले वर्कलोड और तीनों के मिश्रण को आज़माया। जो डॉक्यूमेंट्स गिनते हैं या जो BM25 स्कोर द्वारा टॉप के मांगते हैं। क्लाइंट्स द्वारा बेंचमार्क क्वेरी वर्कलोड के साथ इंडेक्स में समवर्ती रूप से नया डेटा लिखने के साथ और बिना। हमने TIN को विभिन्न टेक्स्ट कॉर्पोरा के विरुद्ध मापा: पूरा विकिपीडिया, कुल 2.3 TB के Reddit कमेंट्स का संग्रह, और एक मिश्रित वर्कलोड जिसे हम बस "pile" कहते हैं जिसमें 797 GB के ओपन-एक्सेस रिसर्च पेपर्स, कानूनी दस्तावेज़, पब्लिक डोमेन बुक्स, और Enron ईमेल शामिल हैं। इस लेख में साझा किए गए बेंचमार्क परिणाम Stack Exchange के प्रश्नों और उत्तरों के निर्यात से हैं: 150 मिलियन डॉक्यूमेंट्स के साथ 85 GB का कॉर्पस।