HeadlinesBriefing favicon HeadlinesBriefing.com

Valeurs manquantes : Des hypothèses cachées dans les données

Towards Data Science •
×

Une cellule vide est souvent traitée comme un défaut à corriger plutôt qu'un fait sur le monde. L'absence de données reflète le processus qui génère les données, et non seulement un inconvénient. Dans les essais cliniques, les patients qui se retirent ne sont pas aléatoires : ils sont souvent des patients dont le traitement a échoué ou dont la condition s'est aggravée. Les champs de revenu facultatifs sont ignorés lorsque les utilisateurs préfèrent la confidentialité. Les utilisateurs qui ont quitté l'expérience ne produisent jamais le résultat prévu, et leur absence peut être directement liée au traitement reçu.

Les capteurs ne sont pas eux non plus immunisés. Bien qu'ils ne puissent pas refuser de répondre, leur enregistrement dépend des conditions de fonctionnement façonnées par ce qu'ils mesurent. Un capteur PM2.5 estime la pollution par dispersion de lumière, mais une charge élevée de particules dégrade les performances et entraîne des pannes. Cela signifie que les lacunes se produisent précisément pendant les événements de forte pollution que le réseau a été conçu pour capter.

Ce motif se répète dans l'Internet des objets : les sismomètres se clipent pendant les tremblements de terre, les jauges de déformation échouent sous de lourdes charges, et les compteurs intelligents abandonnent les rapports pendant les pics de coupure de courant.

Donald Rubin (1976) a formalisé trois mécanismes de manque de données. Les données sont manquantes complètement au hasard (MCAR) lorsque le manque est indépendant de toutes les variables. Manquant au hasard (MAR) signifie que les lacunes dépendent uniquement des valeurs observées, permettant une estimation non biaisée par une mise en condition appropriée. Manquant et ne l'est pas au hasard (MNAR) se produit lorsque le manque dépend de la valeur non observée elle-même, rendant l'absence informative sur ce qui reste caché.

Entités clés : Entreprises : Internet des objets | Personnes : Donald Rubin, Safarov et al.