HeadlinesBriefing favicon HeadlinesBriefing.com

Dataflow模型回顾:VLDB测试时间

Hacker News •
×

Dataflow模型论文发表11年后,作者们反思了哪些观点经久不衰,哪些不足。核心思想——事件时间优先、等待完整性的徒劳性以及强一致性——仍然站得住脚。然而,分析界面存在缺陷:窗口化和触发被过度强调,而触发是针对用户本不应面对的问题的过度工程化解决方案。以流为中心的观点忽略了流和表只是同一对象的不同访问语义。

实际演进来自数据库领域:SQL、增量视图维护以及具有新鲜度契约的物化视图。作者承认过于关注流处理机制,而不是完成数据库开始的工作——让分析流处理的复杂性消失。

完整性原则分裂为两种成功形式:可见流的水印和隐藏流的快照一致性刷新。后者通过要求更少而惠及更多用户。他们将水印泛化为对变化的声明约束。

他们还指出,批处理与流处理的争论大多是语义上的,低延迟需求沿OLTP/OLAP线分叉,他们采用了新的框架:保留、排除、更努力推动。最后,他们思考流处理最终在分析之外消失的可能性。