HeadlinesBriefing favicon HeadlinesBriefing.com

Retrospectiva do modelo Dataflow: Teste do tempo da VLDB

Hacker News •
×

Onze anos após o artigo sobre o modelo Dataflow, seus autores refletem sobre o que envelheceu bem e o que não. As ideias centrais—primazia do tempo de evento, futilidade de esperar por completude e consistência forte—permanecem sólidas. No entanto, a interface analítica era falha: janelamento e acionamento foram superenfatizados, e os acionadores eram uma solução superengenhada para um problema que os usuários não deveriam enfrentar. A visão centrada em streams perdeu que streams e tabelas são apenas semânticas de acesso diferentes do mesmo objeto.

A evolução prática veio do mundo dos bancos de dados: SQL, manutenção incremental de views e views materializadas com contratos de frescor. Os autores admitem que focaram demais na mecânica de streaming em vez de terminar o que os bancos de dados começaram—fazer a complexidade do streaming analítico desaparecer.

O princípio de completude se dividiu em duas formas bem-sucedidas: marcas d'água para streams visíveis e atualização consistente de snapshots para os ocultos. O último alcançou mais usuários ao exigir menos. Eles generalizam marcas d'água em restrições declaradas sobre mudanças.

Eles também observam que o debate batch versus streaming foi principalmente semântico, a demanda por baixa latência se bifurca ao longo das linhas OLTP/OLAP, e adotam um novo enquadramento: deixar dentro, deixar fora, empurrar mais forte. Finalmente, ponderam o eventual desaparecimento do streaming além da análise.