HeadlinesBriefing favicon HeadlinesBriefing.com

Dataflowモデルの回顧:VLDBテスト・オブ・タイム

Hacker News •
×

Dataflowモデルの論文から11年後、その著者らは何がうまく老化し、何がそうでないかを振り返る。核となるアイデア—イベント時間の優位性、完全性を待つことの無益さ、強力な一貫性—は依然として健全である。しかし、分析インターフェースには欠陥があった:ウィンドウ処理とトリガーは過度に強調され、トリガーはユーザーが直面すべきでない問題に対する過剰に設計された解決策だった。ストリーム中心の見方は、ストリームとテーブルが同じオブジェクトの異なるアクセスセマンティクスにすぎないことを見逃した。

実用的な進化はデータベースの世界からもたらされた:SQL、インクリメンタルビューのメンテナンス、鮮度契約付きのマテリアライズドビュー。著者らは、データベースが始めたことを完了するのではなく、ストリーミングのメカニクスに焦点を当てすぎたことを認めている—分析ストリーミングの複雑さを消し去ること。

完全性の原則は、可視ストリームのためのウォーターマークと、隠れたストリームのためのスナップショット一貫性リフレッシュという2つの成功した形に分裂した。後者はより少ない要求でより多くのユーザーに到達した。彼らはウォーターマークを変更に対する宣言された制約に一般化する。

また、バッチ対ストリーミングの議論はほとんど意味論的なものであり、低遅延の需要はOLTP/OLAPの線に沿って分岐し、彼らは新しい枠組みを採用する:残す、除外する、より強く押す。最後に、彼らは分析を超えたストリーミングの最終的な消滅を熟考する。