HeadlinesBriefing favicon HeadlinesBriefing.com

Retrospektif Model Dataflow: Uji Waktu VLDB

Hacker News •
×

Sebelas tahun setelah makalah Model Dataflow, para penulisnya merenungkan apa yang bertahan baik dan apa yang tidak. Ide-ide inti—keutamaan waktu peristiwa, kesia-siaan menunggu kelengkapan, dan konsistensi kuat—tetap kokoh. Namun, antarmuka analitis cacat: windowing dan pemicuan terlalu ditekankan, dan pemicu adalah solusi yang terlalu direkayasa untuk masalah yang tidak seharusnya dihadapi pengguna. Pandangan yang berpusat pada aliran melewatkan bahwa aliran dan tabel hanyalah semantik akses yang berbeda dari objek yang sama.

Evolusi praktis datang dari dunia basis data: SQL, pemeliharaan tampilan inkremental, dan tampilan terwujud dengan kontrak kesegaran. Para penulis mengakui terlalu fokus pada mekanika streaming daripada menyelesaikan apa yang dimulai basis data—membuat kompleksitas streaming analitis menghilang.

Prinsip kelengkapan terpecah menjadi dua bentuk yang sukses: watermark untuk aliran yang terlihat dan penyegaran konsisten snapshot untuk yang tersembunyi. Yang terakhir menjangkau lebih banyak pengguna dengan menuntut lebih sedikit. Mereka menggeneralisasi watermark menjadi batasan yang dinyatakan tentang perubahan.

Mereka juga mencatat bahwa perdebatan batch versus streaming sebagian besar semantik, permintaan latensi rendah bercabang di sepanjang garis OLTP/OLAP, dan mereka mengadopsi kerangka baru: biarkan masuk, biarkan keluar, dorong lebih keras. Akhirnya, mereka merenungkan kemungkinan hilangnya streaming di luar analitik.