HeadlinesBriefing favicon HeadlinesBriefing.com

القيم المفقودة: افتراضات مخفية في البيانات

Towards Data Science •
×

غالبًا ما يُعامل الخلية الفارغة كعيب يجب إصلاحه بدلًا من واقعٍ عن العالم. تعكس الفقر في البيانات العملية التي تُنشئ البيانات، وليس مجرد تعطٍّ. في التجارب السريرية، ليست مغادرات المشاركين عشوائية؛ غالبًا ما تكون مرضىً الذين فشل علاجهم أو تفاقم حالتهم. يتخطى حقول الدخل الاختيارية عندما يفضّل المستخدمون الخصوصية. لم يُنتج المستخدمون الذين غادروا في التجارب النتيجة المقررة، وقد ترتبط غيابهم مباشرة بالعلاج الذي استلموه.

المستشعبات أيضًا ليست بلا ذبح. على الرغم من أنها لا يمكنها رفض الإجابة، فإن تسجيلها يعتمد على ظروف التشغيل التي تم تشكيلها بواسطة ما تقيسه. يقدّر مستشعب PM2.5 التلوث من خلال انتشار الضوء، لكن التحميل العالي للجزيئات يؤدي إلى تدهور الأداء ويسبب انقطاعات. هذا يعني أن الفجوات تحدث بالضبط خلال أحداث التلوث المرتفعة التي صُممت لتغطيتها الشبكة.

يتكرر هذا النموذج في إنترنت الأشياء: الميزات الزلزالية تقتطع خلال الزلازل، وتفشل أجهزة قياس الإنعطاف تحت الأحمال الثقيلة، وتترك مقاييس الكهرباء التلقائية التقارير أثناء الانقطاعات القيهية المرتفعة.

بينما مَنهَج دونالد روبن (1976) حَوَّل ثلاث آليات فقدان البيانات. تكون البيانات مفقودة تمامًا عشوائيًا (MCAR) عندما يكون الفجاء مستقلًا عن جميع المتغيرات. المفقودة عشوائيًا (MAR) تعني أن الفجوات تعتمد فقط على القيم المُرصودة، مما يسمح بتقدير غير متحيز من خلال التمثيل المناسب. المفقودة ليست عشوائيًا (MNAR) تحدث عندما يعتمد الفجاء على القيمة غير المُرصودة نفسها، مما يجعل الغياب مُحرّفًا للمعلومات عن ما يبقى مخفيًا.

الكيانات الرئيسية: الشركات: إنترنت الأشياء | الأشخاص: دونالد روبن، سافاروف وغيرهم