Penulis mendokumentasikan transisinya ke data engineering dan sudah membangun dua pipeline: pipeline ETL GitHub terjadwal yang menyimpan data di SQLite, dan pipeline RSS otomatis yang memuat artikel teknologi ke PostgreSQL. Keduanya diatur menggunakan Kestra dan dikemas dalam kontainer Docker untuk diterapkan ke AWS.
Untuk proyek baru ini, bernama Level 3, tujuannya adalah membangun pipeline yang melacak pasar kerja untuk peran yang sedang dikejar penulis: data engineer, analytics engineer, ETL developer, dan posisi terkait. Setiap eksekusi memeriksa apakah pemberi kerja sedang merekrut untuk jenis peran yang diinginkan penulis. Proyek ini merupakan bentuk belajar secara terbuka, membangun alat yang ingin dimiliki penulis sembari tetap mencari pekerjaan pertamanya di bidang data engineering.
Desainnya mengambil data dari dua sumber, Hacker News dan sebuah situs lowongan kerja, memasukkannya ke data warehouse, mengatur alur kerja dengan alat baru, dan menggunakan snapshot dbt untuk melacak kapan lowongan dibuka dan ditutup seiring waktu. Apache Airflow dipilih sebagai orkestrator karena merupakan nama yang paling sering dicari recruiter, menggantikan Kestra untuk proyek ini.
BigQuery adalah pilihan warehouse pertama, tetapi Google Cloud mewajibkan prabayar sebesar $30 untuk menautkan akun penagihan di negara tertentu sebelum fitur IAM dan akun layanannya dapat digunakan, bahkan pada tingkat gratis. Penulis beralih ke DuckDB. dbt mengabstraksi sebagian besar sintaks khusus warehouse, sehingga keterampilan transformasi dan snapshot tetap dapat dialihkan jika proyek kelak pindah ke BigQuery atau Snowflake.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing