HeadlinesBriefing favicon HeadlinesBriefing.com

Nilai yang Hilang: Asumsi Tersembunyi dalam Data

Towards Data Science •
×

Sel yang kosong sering diperlakukan sebagai cacat yang perlu diperbaiki, bukan sebagai fakta tentang dunia. Ketiadaan mencerminkan proses yang menghasilkan data, bukan sekadar keganggaan. Dalam uji klinis, peserta yang keluar bukan acak; mereka sering kali adalah pasien yang pengobatan mereka gagal atau kondisinya memburuk. Kolom pendapatan opsional diabaikan ketika pengguna lebih memilih privasi. Pengguna yang meninggalkan eksperimen tidak pernah menghasilkan hasil yang diharapkan, dan kehilangan mereka mungkin berhubungan langsung dengan pengobatan yang diterima.

Sensor juga tidak terisolated. Meskipun mereka tidak dapat menolak untuk menjawab, perekaman mereka bergantung pada kondisi operasi yang dibentuk oleh apa yang mereka ukur. Sensor PM2.5 memperkirakan polusi melalui penyebaran cahaya, tetapi beban partikel tinggi menurunkan kinerja dan menyebabkan gangguan. Ini berarti celah terjadi tepat pada peristiwa polusi tinggi yang jaringan dirancang untuk menangkapnya.

Pola ini berulang-ulang di Internet of Things: seismometer dipotong selama gempa, gauge regangan gagal pada beban berat, dan meter pintar meninggalkan laporan selama blackout puncak.

Donald Rubin (1976) memformalkan tiga mekanisme ketiadaan data. Data adalah yang hilang secara lengkap secara acak (MCAR) ketika celah tidak independen dari semua variabel. Hilang secara acak (MAR) berarti celah hanya bergantung pada nilai yang telah dilihat, memungkinkan estimasi tidak bias dengan kondisi yang tepat. Hilang dan bukan acak (MNAR) terjadi ketika celah bergantung pada nilai yang tidak dilihatnya sendiri, membuat kehilangan menjadi informatif tentang apa yang tersembunyi.

Entitas Kunci: Perusahaan: Internet of Things | Orang: Donald Rubin, Safarov dsb.