लेखक डेटा इंजीनियरिंग में अपने बदलाव का दस्तावेज़ीकरण कर रहे हैं, और वे पहले ही दो पाइपलाइन बना चुके हैं: एक निर्धारित GitHub ETL पाइपलाइन जो डेटा को SQLite में संग्रहीत करती है, और एक स्वचालित RSS पाइपलाइन जो तकनीकी लेखों को PostgreSQL में लोड करती है। दोनों को Kestra के साथ व्यवस्थित किया गया है और AWS पर तैनाती के लिए Docker में कंटेनराइज़ किया गया है।
इस नई परियोजना, Level 3, का लक्ष्य एक ऐसी पाइपलाइन बनाना है जो उन्हीं भूमिकाओं के लिए जॉब मार्केट को ट्रैक करे जिनकी लेखक तलाश कर रहे हैं: डेटा इंजीनियर, एनालिटिक्स इंजीनियर, ETL डेवलपर और संबंधित पद। हर रन यह जाँचता है कि नियोक्ता उस तरह की भूमिका के लिए भर्ती कर रहे हैं या नहीं जो लेखक चाहते हैं। यह परियोजना सार्वजनिक रूप से सीखने का एक तरीका है, जिसमें लेखक वह उपकरण बना रहे हैं जो उन्हें चाहिए था, जबकि वे अभी भी अपनी पहली डेटा इंजीनियरिंग नौकरी की तलाश में हैं।
डिज़ाइन दो स्रोतों से डेटा लेता है, Hacker News और एक जॉब बोर्ड, डेटा को एक वेयरहाउस में डालता है, एक नए उपकरण से काम को व्यवस्थित करता है, और समय के साथ लिस्टिंग कब खुलती और बंद होती हैं यह ट्रैक करने के लिए dbt स्नैपशॉट का उपयोग करता है। Apache Airflow को ऑर्केस्ट्रेटर के रूप में चुना गया क्योंकि भर्तीकर्ता सबसे अधिक इसी नाम को खोजते हैं, और इस परियोजना में इसने Kestra की जगह ली।
BigQuery पहला वेयरहाउस विकल्प था, लेकिन Google Cloud को कुछ देशों में बिलिंग खाता जोड़ने के लिए अनिवार्य $30 की अग्रिम भुगतान की आवश्यकता होती है, इसके बाद ही इसकी IAM और सेवा खाता सुविधाएँ खुलती हैं, यहाँ तक कि मुफ्त टियर पर भी। इसलिए लेखक ने DuckDB अपना लिया। dbt अधिकांश वेयरहाउस-विशिष्ट सिंटैक्स को सार रूप देता है, इसलिए यदि परियोजना बाद में BigQuery या Snowflake पर जाती है तो परिवर्तन और स्नैपशॉट कौशल फिर भी काम आएँगे।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित