HeadlinesBriefing favicon HeadlinesBriefing.com

निश्चित चरण बनाम समानता स्कोर डुप्लीकेशन

Towards Data Science •
×

पायथन में 10,000-पंक्ति की सप्लायर सूची को डुप्लीकेट करने से पता चलता है कि स्ट्रिंग मिलान आसान हिस्सा है — समानता स्कोर के साथ क्या करना है यह तय करना असली काम है। लेखक की एजेंसी स्वतंत्र प्रकाशकों से संपादकीय प्लेसमेंट खरीदती है, और डुप्लीकेट सप्लायर रिकॉर्ड पैसे खर्च करते हैं जब चालान दो बार भुगतान हो जाते हैं या मूल्य इतिहास उन वर्तनी में विभाजित हो जाता है जिन्हें कोई खोजता नहीं।

वही साइट solartravelmag.com, https://www.solartravelmag.com/, blog.solartravelmag.com, और ट्रैकिंग पैरामीटर्स के साथ Solar Travel Mag. COM के रूप में दिखाई देती है। जनवरी से, एक बाहरी मार्केटप्लेस कैटलॉग को इसके API के माध्यम से एक दशक के मैन्युअल एंट्री के ऊपर सिंक किया गया है। एक मार्केटप्लेस मानता है कि इसकी सूचीबद्ध कीमतें वास्तविकता से लगभग 90% समय मेल खाती हैं, जिससे क्रॉस-चेकिंग अनिवार्य हो जाती है।

सूची के एक सिंथेटिक पुनर्निर्माण में 11,531 पंक्तियाँ थीं जो 7,180 वास्तविक विक्रेताओं का वर्णन करती थीं, जिसमें 2,429 सतही वेरिएंट, 888 सबडोमेन पंक्तियाँ, 529 कंट्री-डोमेन सिबलिंग, 505 टाइपो, और 180 नियर-नेम ट्रैप शामिल थे। दो निश्चित चरण — पब्लिक सफिक्स लिस्ट का उपयोग करके सामान्यीकरण और सबडोमेन पतन — ने मुफ्त में 76% डुप्लीकेट हटा दिए। फजी मैचर ने दो सेकंड में 33.7 मिलियन जोड़े स्कोर किए, लेकिन कोई थ्रेशोल्ड शेष को सुरक्षित रूप से मर्ज नहीं कर सका। मैचर का वास्तविक आउटपुट एक रैंक की गई समीक्षा कतार है, मर्ज का सेट नहीं।

मुख्य संस्थाएं: कंपनियाँ: Towards Data Science | लोग: Fellegi, Sunter