在Python中去重一个10,000行的供应商名单表明，字符串匹配是容易的部分 —— 决定如何处理相似度评分才是真正的工作。作者的代理机构从独立发布商处购买编辑版面，重复的供应商记录会在发票被重复支付或价格历史因没人搜索的拼写差异而分裂时造成资金损失。

同一个网站显示为 solartravelmag.com、https://www.solartravelmag.com/、blog.solartravelmag.com 和带有跟踪参数的 Solar Travel Mag. COM。自1月以来，一个外部市场目录已通过其API同步，叠加在十年的手工录入之上。一个市场承认其列出的价格与现实匹配约90%的时间，使得交叉核对成为强制性的。

名单的合成重建包含11,531行，描述7,180个实际供应商，其中有2,429个表面变体、888个子域名行、529个国家域名同胞、505个拼写错误和180个近似名称陷阱。两个确定性阶段 —— 使用公共后缀列表进行规范化和子域名折叠 —— 免费移除了76%的重复项。模糊匹配器在两秒内对3370万对进行了评分，但没有任何阈值能安全地合并剩余部分。匹配器的真实输出是一个排序后的审核队列，而不是一组合并操作。

关键实体：公司：Towards Data Science | 人物：Fellegi, Sunter