HeadlinesBriefing favicon HeadlinesBriefing.com

Retrospectiva del modelo Dataflow: Prueba de tiempo de VLDB

Hacker News •
×

Once años después del artículo del modelo Dataflow, sus autores reflexionan sobre qué envejeció bien y qué no. Las ideas centrales—la primacía del tiempo de evento, la futilidad de esperar la completitud y la consistencia fuerte—siguen siendo sólidas. Sin embargo, la interfaz analítica era defectuosa: el ventaneo y la activación fueron sobreenfatizados, y las activaciones eran una solución sobreingenierizada a un problema que los usuarios no deberían enfrentar. La visión centrada en flujos pasó por alto que los flujos y las tablas son solo diferentes semánticas de acceso del mismo objeto.

La evolución práctica provino del mundo de las bases de datos: SQL, mantenimiento de vistas incrementales y vistas materializadas con contratos de frescura. Los autores admiten que se centraron demasiado en la mecánica del streaming en lugar de terminar lo que las bases de datos comenzaron—hacer desaparecer la complejidad del streaming analítico.

El principio de completitud se dividió en dos formas exitosas: marcas de agua para flujos visibles y actualización consistente de instantáneas para los ocultos. Esta última llegó a más usuarios al exigir menos. Generalizan las marcas de agua en restricciones declaradas sobre el cambio.

También señalan que el debate entre lotes y streaming fue mayormente semántico, la demanda de baja latencia se bifurca a lo largo de líneas OLTP/OLAP, y adoptan un nuevo marco: dejar dentro, dejar fuera, empujar más fuerte. Finalmente, reflexionan sobre la eventual desaparición del streaming más allá de la analítica.