HeadlinesBriefing favicon HeadlinesBriefing.com

Dataflow-Modell-Retrospektive: VLDB-Test der Zeit

Hacker News •
×

Elf Jahre nach dem Dataflow-Modell-Papier reflektieren seine Autoren, was gut gealtert ist und was nicht. Die Kernideen—Primat der Ereigniszeit, Sinnlosigkeit des Wartens auf Vollständigkeit und starke Konsistenz—bleiben solide. Die analytische Schnittstelle war jedoch fehlerhaft: Fensterung und Auslösung wurden überbetont, und Auslöser waren eine übertechnisierte Lösung für ein Problem, dem Benutzer nicht gegenüberstehen sollten. Die stromzentrierte Sicht übersah, dass Ströme und Tabellen nur unterschiedliche Zugriffssemantiken desselben Objekts sind.

Praktische Entwicklung kam aus der Datenbankwelt: SQL, inkrementelle Sichtwartung und materialisierte Sichten mit Frischeverträgen. Die Autoren geben zu, sich zu sehr auf Streaming-Mechanik konzentriert zu haben, anstatt zu beenden, was Datenbanken begonnen haben—die Komplexität des analytischen Streamings verschwinden zu lassen.

Das Vollständigkeitsprinzip spaltete sich in zwei erfolgreiche Formen: Wasserzeichen für sichtbare Ströme und konsistentes Snapshot-Refresh für verborgene. Letzteres erreichte mehr Benutzer, indem es weniger forderte. Sie verallgemeinern Wasserzeichen zu deklarierten Einschränkungen über Änderungen.

Sie stellen auch fest, dass die Batch-gegen-Streaming-Debatte meist semantisch war, die Nachfrage nach geringer Latenz sich entlang OLTP/OLAP-Linien verzweigt, und sie übernehmen einen neuen Rahmen: drin lassen, raus lassen, stärker drücken. Schließlich denken sie über das eventuelle Verschwinden des Streamings jenseits der Analytik nach.