ডেটা ইঞ্জিনিয়ারিংয়ের জন্য জব মার্কেট ট্র্যাকার পাইপলাইন

লেখক ডেটা ইঞ্জিনিয়ারিংয়ে তাঁর রূপান্তর নথিবদ্ধ করছেন, এবং ইতিমধ্যে দুটি পাইপলাইন তৈরি করেছেন: একটি নির্ধারিত GitHub ETL পাইপলাইন যা ডেটা SQLite-এ সংরক্ষণ করে, এবং একটি স্বয়ংক্রিয় RSS পাইপলাইন যা প্রযুক্তি নিবন্ধ PostgreSQL-এ লোড করে। দুটিই Kestra দিয়ে পরিচালিত এবং AWS-এ স্থাপনের জন্য Docker দিয়ে কন্টেইনারাইজড।

Level 3 নামের এই নতুন প্রকল্পের লক্ষ্য এমন একটি পাইপলাইন তৈরি করা যা লেখক যে সুনির্দিষ্ট ভূমিকাগুলোর জন্য চেষ্টা করছেন, সেগুলোর জব মার্কেট ট্র্যাক করে: ডেটা ইঞ্জিনিয়ার, অ্যানালিটিক্স ইঞ্জিনিয়ার, ETL ডেভেলপার এবং সংশ্লিষ্ট পদ। প্রতিটি রান যাচাই করে নিয়োগকর্তারা লেখকের কাঙ্ক্ষিত ধরনের ভূমিকায় লোক নিচ্ছেন কি না। এটি প্রকাশ্যে শেখার একটি রূপ, যেখানে লেখক এমন একটি টুল তৈরি করছেন যা তিনি নিজের জন্য চেয়েছিলেন, এবং একই সঙ্গে তাঁর প্রথম ডেটা ইঞ্জিনিয়ারিং চাকরির খোঁজও চালিয়ে যাচ্ছেন।

নকশাটি দুটি উৎস থেকে ডেটা নেয়, Hacker News এবং একটি জব বোর্ড, ডেটা একটি ওয়্যারহাউসে জমা করে, একটি নতুন টুল দিয়ে কাজ সমন্বয় করে, এবং সময়ের সঙ্গে বিজ্ঞপ্তি কখন খোলে ও বন্ধ হয় তা ট্র্যাক করতে dbt স্ন্যাপশট ব্যবহার করে। Apache Airflow অর্কেস্ট্রেটর হিসেবে বেছে নেওয়া হয়েছে কারণ রিক্রুটাররা এই নামটিই সবচেয়ে বেশি খোঁজেন, এবং এই প্রকল্পে এটি Kestra-এর জায়গা নিয়েছে।

প্রথম ওয়্যারহাউস পছন্দ ছিল BigQuery, কিন্তু কিছু দেশে Google Cloud বিলিং অ্যাকাউন্ট যুক্ত করতে বাধ্যতামূলক $30 অগ্রিম পেমেন্ট চায়, তারপর IAM ও সার্ভিস অ্যাকাউন্টের ফিচার খোলে, এমনকি ফ্রি টিয়ারেও। তাই লেখক DuckDB-তে সরে গেছেন। dbt বেশিরভাগ ওয়্যারহাউস-নির্দিষ্ট সিনট্যাক্স আড়াল করে, তাই প্রকল্পটি পরে BigQuery বা Snowflake-এ গেলেও রূপান্তর ও স্ন্যাপশটের দক্ষতা কাজে লাগবে।

উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing