HeadlinesBriefing favicon HeadlinesBriefing.com

ডেটাফ্লো মডেল রেট্রোস্পেক্টিভ: VLDB টেস্ট অফ টাইম

Hacker News •
×

ডেটাফ্লো মডেল পেপারের এগারো বছর পরে, এর লেখকরা প্রতিফলিত করেছেন কী ভালোভাবে টিকে আছে এবং কী নেই। মূল ধারণাগুলি—ইভেন্ট টাইমের প্রাধান্য, সম্পূর্ণতার জন্য অপেক্ষার অসারতা এবং শক্তিশালী ধারাবাহিকতা—এখনও সঠিক। তবে, বিশ্লেষণাত্মক ইন্টারফেসটি ত্রুটিপূর্ণ ছিল: উইন্ডোয়িং এবং ট্রিগারিংকে অতিরিক্ত গুরুত্ব দেওয়া হয়েছিল, এবং ট্রিগারগুলি এমন একটি সমস্যার অতিরিক্ত-ইঞ্জিনিয়ারড সমাধান ছিল যা ব্যবহারকারীদের মুখোমুখি হওয়া উচিত নয়। স্ট্রিম-কেন্দ্রিক দৃষ্টিভঙ্গি মিস করেছে যে স্ট্রিম এবং টেবিল একই বস্তুর বিভিন্ন অ্যাক্সেস সেম্যান্টিক্স।

ব্যবহারিক বিবর্তন ডেটাবেস জগত থেকে এসেছে: SQL, ইনক্রিমেন্টাল ভিউ রক্ষণাবেক্ষণ এবং ফ্রেশনেস কন্ট্রাক্ট সহ মেটেরিয়ালাইজড ভিউ। লেখকরা স্বীকার করেছেন যে তারা ডেটাবেস যা শুরু করেছিল তা শেষ করার পরিবর্তে স্ট্রিমিং মেকানিক্সের উপর খুব বেশি মনোযোগ দিয়েছেন—বিশ্লেষণাত্মক স্ট্রিমিং জটিলতা অদৃশ্য করা।

সম্পূর্ণতার নীতিটি দুটি সফল রূপে বিভক্ত হয়েছে: দৃশ্যমান স্ট্রিমের জন্য ওয়াটারমার্ক এবং লুকানো স্ট্রিমের জন্য স্ন্যাপশট-সামঞ্জস্যপূর্ণ রিফ্রেশ। পরেরটি কম দাবি করে আরও ব্যবহারকারীদের কাছে পৌঁছেছে। তারা ওয়াটারমার্ককে পরিবর্তনের উপর ঘোষিত সীমাবদ্ধতায় সাধারণীকরণ করে।

তারা আরও নোট করে যে ব্যাচ-বনাম-স্ট্রিমিং বিতর্কটি বেশিরভাগই শব্দার্থিক ছিল, কম-লেটেন্সি চাহিদা OLTP/OLAP লাইন বরাবর দ্বিখণ্ডিত হয়, এবং তারা একটি নতুন কাঠামো গ্রহণ করে: ছেড়ে দিন, বাদ দিন, কঠোর চাপ দিন। অবশেষে, তারা বিশ্লেষণের বাইরে স্ট্রিমিংয়ের চূড়ান্ত অদৃশ্য হওয়ার কথা ভাবেন।