L'auteur documente sa transition vers l'ingénierie des données. Il a déjà construit deux pipelines : un pipeline ETL GitHub planifié qui stocke les données dans SQLite, et un pipeline RSS automatisé qui charge des articles techniques dans PostgreSQL, orchestrés avec Kestra et conteneurisés avec Docker pour un déploiement sur AWS.
Pour ce nouveau projet, baptisé Level 3, l'objectif est de construire un pipeline qui suit le marché de l'emploi pour les postes exacts visés par l'auteur : ingénieur données, ingénieur analytique, développeur ETL et postes apparentés. Chaque exécution vérifie si les employeurs recrutent pour le type de poste souhaité par l'auteur. Le projet s'inscrit dans une démarche d'apprentissage public : il consiste à construire l'outil que l'auteur aurait souhaité trouver, tout en cherchant encore son premier emploi en ingénierie des données.
La conception puise dans deux sources, Hacker News et un site d'emploi, alimente un entrepôt de données, orchestre le travail avec un nouvel outil et utilise des snapshots dbt pour suivre l'ouverture et la fermeture des annonces au fil du temps. Apache Airflow a été retenu comme orchestrateur parce que c'est le nom que les recruteurs recherchent le plus souvent, remplaçant Kestra pour ce projet.
BigQuery était le premier choix d'entrepôt, mais Google Cloud exige un prépaiement obligatoire de 30 $ pour lier un compte de facturation dans certains pays avant que ses fonctionnalités IAM et de comptes de service ne soient débloquées, même avec le niveau gratuit. L'auteur s'est donc tourné vers DuckDB. dbt masque la plupart des particularités syntaxiques propres à chaque entrepôt : les compétences en transformation et en snapshots devraient donc être transférables si le projet migre plus tard vers BigQuery ou Snowflake.
Source: Towards Data Science · Résumé par HeadlinesBriefing