পাইথনে ১০,০০০ সারি সরবরাহকারীর তালিকা ডিডুপ্লিকেট করলে দেখা যায় যে স্ট্রিং মিলানো সহজ অংশ — সাদৃশ্য স্কোরের সাথে কী করা উচিত সেটি নির্ধারণ করা আসল কাজ। লেখকের এজেন্সি স্বাধীন প্রকাশকদের থেকে সম্পাদকীয় প্লেসমেন্ট কিনে, এবং ডুপ্লিকেট সরবরাহকারীর রেকর্ড টাকা খরচ করে যখন চালান দুবার পরিশোধ করা হয় বা কেউ খোঁজা না এমন বানানের কারণে দামের ইতিহাস ভাগ হয়ে যায়।

একই সাইটটি solartravelmag.com, https://www.solartravelmag.com/, blog.solartravelmag.com, এবং ট্র্যাকিং প্যারামিটারসহ Solar Travel Mag. COM হিসেবে দেখায়। জানুয়ারি থেকে, একটি বাহ্যিক মার্কেটপ্লেস ক্যাটালগ এর API-এর মাধ্যমে এক দশকের ম্যানুয়াল এন্ট্রির উপরে সিঙ্ক করা হয়েছে। একটি মার্কেটপ্লেস স্বীকার করে যে এর তালিকাভুক্ত দামগুলি প্রায় ৯০% সময় বাস্তবতার সাথে মিলে, যা ক্রস-চেকিং বাধ্যতামূলক করে তোলে।

তালিকার একটি সিনথেটিক পুনর্নির্মাণে ১১,৫৩১ সারি ছিল যা ৭,১৮০ প্রকৃত বিক্রেতাদের বর্ণনা করত, যার মধ্যে ২,৪২৯টি সারফেস ভেরিয়েন্ট, ৮৮৮টি সাবডোমেন সারি, ৫২৯টি কান্ট্রি-ডোমেন সিবলিং, ৫০৫টি টাইপো, এবং ১৮০টি নিয়ার-নেম ট্র্যাপ ছিল। দুটি ডিটারমিনিস্টিক স্টেজ — পাবলিক সাফিক্স লিস্ট ব্যবহার করে নরম্যালাইজেশন এবং সাবডোমেন কল্যাপ্স — বিনামূল্যে ৭৬% ডুপ্লিকেট সরিয়ে দিয়েছিল। ফাজি ম্যাচার দুটি সেকেন্ডে ৩৩.৭ মিলিয়ন জোড়া স্কোর করেছিল, কিন্তু কোনো থ্রেশহোল্ড বাকি অংশটি নিরাপদে মার্জ করতে পারেনি। ম্যাচারের আসল আউটপুট হল একটি র্যাঙ্ক করা রিভিউ কিউ, মার্জের সেট নয়।

মূল エンটিটি: কোম্পানি: Towards Data Science | ব্যক্তি: Fellegi, Sunter