HeadlinesBriefing favicon HeadlinesBriefing.com

مطابقة الشبهة في بحيرة البيانات لتتاليه مفاتيح الكيانات

Towards Data Science •
×

غالبًا ما يلجأ الناس الذين يوازنون المعرّفات الفوضوية إلى نفس النهج: أخذ مقياس للمسافة التحريرية، اختيار عتبة، ودمج أي شيء يكون قريبًا بما فيه الكفاية. Damerau-Levenshtein هو تحسين واضح على المسافة التحريرية المنطقية. المنطق وراء اختياره صلب. يعتبر الانتقال (حرفان متبادلتين) خطأً واحدًا بدلاً من اثنين. في سحب 719 محطة مستشعرات البيئة، تم التحقق من خطأ كتابة واحد: sds1001 لـ sds011. تم استبدال رقمين — خطأ يمكن لأي شخص ارتكابه على لوحة المفاتيح. تعاملت المسافة التحريرية المنطقية مع هذا كخطأين، بنفس السعر الذي سيفرضه على منتجين مختلفين تمامًا. أما Damerau-Levenshtein ففي النهاية يعرف أن هذا خطأ واحد فقط ويُقيمه منذ البداية على مسافة 1. لذا هو نموذج أفضل لكيفية حدوث الأخطاء، ولدمجه لا تكلفة، مما يجعله الخيار الأكثر وضوحًا.

ومع ذلك، هناك عورة غير مُعترف بها غالبًا في المقياس. إليك مثالًا: hdc1008 و hdc1080 هما مستشعران حقيقيان من شركة Texas Instruments يُباعان في الوقت نفسه، وموثقان في أيقونات بيانات منفصلة. بينما تضع المسافة التحريرية المنطقية عليهما قيمة 2، فإن Damerau-Levenshtein تجعلهما ينخفضان إلى 1 في نفس النطاق كالأخطاء السابقة. انتبه إلى كيف أن الخاصية نفسها التي تجعله أفضل في التعرف على الأخطاء البشرية تُدمج أيضًا بين منتجين مختلفين تم ترقيمهما بوعودة رقم واحد من المنتج.

هذا هو الجزء الثاني من سلسلتي التعمق حول الانحراف في مفاتيح الكيانات التي تبدأ بالتطبيع. إذا لم تقرأ الجزء الأول بعد، فمن الجدير بالملاحظة أولًا لأنه يغطي التنظيف القطاعي الذي يبدأ بهذا الجزء. يمكن العثور على الكود والبيانات لكليهما على Git Hub و Zenodo، في حال رغبت في التحقق من أي أرقام بوجهك. في هذا الجزء، سأشرح ما حدث عندما قيّت خمسة مقاييس للتماثل النصي ضد الصحة الحقيقية التي تحققتها من أيقونات البيانات للمصنع، لماذا لم تتمكن أي منها من ضبط الفصل بين الأخطاء والمنتجات الحقيقية — وما يعنيه هذا الفشل من حيث بناء النظام بدلاً من ذلك. هذا مهم بالنسبة لأي شخص يوازن معرّفات رمزية قصيرة — أرقام القطع، SKUs، أكواد النماذج — من أكثر من مصدر، وأقل أهمية إذا كانت من مصدر واحد فقط.

الكيانات المفتاحية: الشركات: Texas Instruments

الأسئلة الشائعة: ما هو عنوان المقالة التي تم مناقشتها في النص؟

السؤال