بناء خط أنابيب لتتبع سوق الوظائف في هندسة البيانات

يوثق الكاتب انتقاله إلى هندسة البيانات، وقد بنى بالفعل خطي أنابيب: خط أنابيب ETL مجدول من GitHub يخزن البيانات في SQLite، وخط أنابيب RSS آلي يحمّل مقالات تقنية إلى PostgreSQL، وكلاهما يُدار باستخدام Kestra ويُحوَّل إلى حاويات باستخدام Docker للنشر على AWS.

في هذا المشروع الجديد، المسمى Level 3، يتمثل الهدف في بناء خط أنابيب يتتبع سوق الوظائف للأدوار التي يسعى إليها الكاتب تحديدًا: مهندس البيانات، ومهندس التحليلات، ومطور ETL، والوظائف ذات الصلة. يتحقق كل تشغيل مما إذا كان أصحاب العمل يوظفون للنوع من الأدوار الذي يريده الكاتب. والمشروع شكل من أشكال التعلم العلني، حيث يبني الكاتب الأداة التي كان يتمنى وجودها بينما لا يزال يبحث عن أول وظيفة له في هندسة البيانات.

يستقي التصميم بياناته من مصدرين، هما Hacker News ولوحة وظائف، ويخزنها في مستودع بيانات، وينسق العمل بأداة جديدة، ويستخدم لقطات dbt لتتبع متى تُفتح الإعلانات الوظيفية وتُغلق مع مرور الوقت. وقد اختير Apache Airflow منسقًا لأنه الاسم الذي يبحث عنه المجندون أكثر من غيره، ليحل محل Kestra في هذا المشروع.

كان BigQuery خيار المستودع الأول، لكن Google Cloud تشترط دفعة مسبقة إلزامية بقيمة 30 دولارًا لربط حساب الفوترة في بعض البلدان قبل أن تتاح ميزات IAM وحسابات الخدمة، حتى في المستوى المجاني. لذلك انتقل الكاتب إلى DuckDB. ويُخفي dbt معظم صياغة الأوامر الخاصة بكل مستودع، لذا ستنتقل مهارات التحويل واللقطات إذا انتقل المشروع لاحقًا إلى BigQuery أو Snowflake.

المصدر: Towards Data Science · لخّصه HeadlinesBriefing