HeadlinesBriefing favicon HeadlinesBriefing.com

डेटाफ्लो मॉडल रेट्रोस्पेक्टिव: VLDB टेस्ट ऑफ टाइम

Hacker News •
×

डेटाफ्लो मॉडल पेपर के ग्यारह साल बाद, इसके लेखकों ने प्रतिबिंबित किया कि क्या अच्छा रहा और क्या नहीं। मुख्य विचार—इवेंट टाइम की प्रधानता, पूर्णता की प्रतीक्षा की निरर्थकता, और मजबूत स्थिरता—अभी भी मजबूत हैं। हालाँकि, विश्लेषणात्मक इंटरफ़ेस दोषपूर्ण था: विंडोइंग और ट्रिगरिंग पर अत्यधिक जोर दिया गया था, और ट्रिगर एक समस्या का अति-इंजीनियर समाधान थे जिसका सामना उपयोगकर्ताओं को नहीं करना चाहिए। स्ट्रीम-केंद्रित दृष्टिकोण ने यह देखा कि स्ट्रीम और टेबल एक ही वस्तु के विभिन्न एक्सेस सेमेंटिक्स हैं।

व्यावहारिक विकास डेटाबेस की दुनिया से आया: SQL, इंक्रीमेंटल व्यू मेंटेनेंस, और फ्रेशनेस कॉन्ट्रैक्ट्स के साथ मटेरियलाइज़्ड व्यूज़। लेखक स्वीकार करते हैं कि उन्होंने डेटाबेस द्वारा शुरू किए गए काम को पूरा करने के बजाय स्ट्रीमिंग मैकेनिक्स पर बहुत अधिक ध्यान केंद्रित किया—विश्लेषणात्मक स्ट्रीमिंग जटिलता को गायब करना।

पूर्णता सिद्धांत दो सफल रूपों में विभाजित हुआ: दृश्य स्ट्रीम के लिए वॉटरमार्क और छिपे हुए लोगों के लिए स्नैपशॉट-संगत रिफ्रेश। बाद वाला कम मांग करके अधिक उपयोगकर्ताओं तक पहुंचा। वे वॉटरमार्क को परिवर्तन पर घोषित बाधाओं में सामान्यीकृत करते हैं।

वे यह भी नोट करते हैं कि बैच-बनाम-स्ट्रीमिंग बहस ज्यादातर शब्दार्थ थी, कम-विलंबता मांग OLTP/OLAP रेखाओं के साथ द्विभाजित होती है, और वे एक नया ढांचा अपनाते हैं: छोड़ें, बाहर करें, कठिन धक्का दें। अंत में, वे विश्लेषण से परे स्ट्रीमिंग के अंतिम गायब होने पर विचार करते हैं।