HeadlinesBriefing favicon HeadlinesBriefing.com

Valores ausentes: Suposições ocultas nos dados

Towards Data Science •
×

Uma célula em branco é frequentemente tratada como um defeito a ser corrigido, em vez de um fato sobre o mundo. A ausência de dados reflete o processo que gera os dados, e não apenas uma inconveniência. Em ensaios clínicos, os participantes que se desistem não são aleatórios; eles são frequentemente pacientes cujo tratamento falhou ou cuja condição piorou. Os campos de renda opcionais são ignorados quando os usuários preferem privacidade. Os usuários que abandonam o experimento nunca produzem o resultado esperado, e sua ausência pode estar diretamente relacionada ao tratamento recebido.

Os sensores também não são imunes. Embora eles não possam recusar de responder, seu registro depende das condições de funcionamento moldadas por aquilo que medem. Um sensor PM2.5 estima a poluição através da dispersão de luz, mas a alta carga de partículas degrada o desempenho e causa falhas. Isso significa que as lacunas ocorrem exatamente durante eventos de alta poluição que a rede foi projetada para capturar.

Este padrão se repete no Internet das Coisas: sismógrafos são recortados durante terremotos, gaiolas de deformação falham sob cargas pesadas, e medidores inteligentes abandonam relatórios durante picos de apagões.

Donald Rubin (1976) formalizou três mecanismos de ausência de dados. Os dados estão completamente ausentes aleatoriamente (MCAR) quando a lacuna é independente de todas as variáveis. Ausente aleatoriamente (MAR) significa que as lacunas dependem apenas de valores observados, permitindo uma estimação não viesada por meio de uma condicionalização apropriada. Ausente e não aleatoriamente (MNAR) ocorre quando a lacuna depende do próprio valor não observado, tornando a ausência informativa sobre o que permanece oculto.

Entidades-chave: Empresas: Internet das Coisas | Pessoas: Donald Rubin, Safarov et al.