تكشف إزالة التكرار من قائمة موردين مكونة من 10,000 صف في Python أن مطابقة السلاسل هي الجزء السهل — اتخاذ قرار بشأن ما يجب فعله مع درجات التشابه هو العمل الحقيقي. تشتري وكالة المؤلف مواضع تحريرية من ناشرين مستقلين، وتكلف سجلات الموردين المكررة المال عندما يتم دفع الفواتير مرتين أو ينقسم سجل الأسعار عبر تهجئات لا يبحث عنها أحد.

يظهر نفس الموقع كـ solartravelmag.com، و https://www.solartravelmag.com/، و blog.solartravelmag.com، و Solar Travel Mag. COM مع معلمات التتبع. منذ يناير، تمت مزامنة كتالوج سوق خارجي عبر واجهة برمجة التطبيقات (API) الخاصة به فوق عقد من الإدخال اليدوي. يعترف أحد الأسواق بأن أسعاره المدرجة تتطابق مع الواقع حوالي 90% من الوقت، مما يجعل التحقق المتبادل إلزاميًا.

احتوى إعادة بناء اصطناعية للقائمة على 11,531 صفًا تصف 7,180 موردًا فعليًا، مع 2,429 متغيرًا سطحيًا، و 888 صف نطاق فرعي، و 529 شقيق نطاق خاص بالبلد، و 505 أخطاء مطبعية، و 180 فخ اسم قريب. أزالت مرحلتان حتميتان — التوحيد باستخدام قائمة اللواحق العامة وانهيار النطاق الفرعي — 76% من التكرارات مجانًا. سجل المطابق التقريبي 33.7 مليون زوج في ثانيتين، لكن لم يتمكن أي عتبة من دمج ما تبقى بأمان. إن المخرج الحقيقي للمطابق هو طابور مراجعة مرتبة، وليس مجموعة من عمليات الدمج.

الكيانات الرئيسية: الشركات: Towards Data Science | الأشخاص: Fellegi, Sunter