HeadlinesBriefing favicon HeadlinesBriefing.com

Fehlende Werte: Versteckte Annahmen in Daten

Towards Data Science •
×

Eine leere Zelle wird oft als Mangel behandelt, der behoben werden muss, anstatt als Tatsache über die Welt. Fehlende Werte spiegeln den Prozess wider, der die Daten erzeugt, und nicht nur eine Bequemlichkeit. In klinischen Studien sind Ausschlüsse nicht zufällig; sie sind oft Patienten, deren Therapie fehlgeschlagen ist oder deren Zustand sich verschlechtert hat. Optionale Einkommensfelder werden übersprungen, wenn Benutzer ihre Privatsphäre bevorzugen. In Experimenten erreichen abgeworbene Benutzer niemals das erwartete Ergebnis, und ihr Fehlen kann direkt mit dem zugeführten Therapieansatz zusammenhängen.

Sensoren sind ebenfalls nicht immun. Sie können zwar nicht ablehnen zu antworten, aber ihre Aufzeichnung hängt von den Betriebsbedingungen ab, die durch das abhängen von dem abhängen, was sie messen, geformt wurden. Ein PM2.5 Sensor schätzt die Verschmutzung durch Lichtstreuung, aber eine hohe Partikelbelastung beeinträchtigt die Leistung und verursacht Ausfälle. Dies bedeutet, dass Lücken genau während Hochbelastungsereignissen auftreten, die das Netzwerk zum Erfassen war, es war entworfen.

Dieses Muster wiederholt sich im Internet der Dinge: Seismometer werden während Erdbeben abgeschnitten, Dehnungsgaugen scheitern bei schweren Belastungen, und intelligente Zähler verlieren Berichte während Spitzenlast-Unterbrechungen.

Donald Rubin (1976) formalisierte drei Fehlermechanismen. Daten sind vollständig zufällig fehlend (MCAR), wenn die Lücke unabhängig von allen Variablen ist. Zufällig fehlend (MAR) bedeutet, dass Lücken nur von beobachteten Werten abhängen und eine unverzerrte Schätzung durch geeignete Konditionierung ermöglichen. Nicht zufällig fehlend (MNAR) tritt auf, wenn die Lücke vom selbst unbeobachteten Wert abhängt, wodurch das Fehlen informativ über das ist, was verborgen bleibt.

Schlüsselentitäten: Unternehmen: Internet der Dinge | Personen: Donald Rubin, Safarov et al.