El autor ha estado documentando su transición hacia la ingeniería de datos, habiendo ya construido dos pipelines: un pipeline ETL programado de GitHub que almacena datos en SQLite, y un pipeline RSS automatizado que carga artículos de tecnología en PostgreSQL, orquestados con Kestra y containerizados con Docker para su despliegue en AWS.
Para este nuevo proyecto, llamado Level 3, el objetivo es construir un pipeline que siga el mercado laboral para los puestos exactos que el autor persigue: ingeniero de datos, ingeniero de analítica, desarrollador ETL y posiciones relacionadas. Cada ejecución comprueba si los empleadores están contratando para el tipo de puesto que el autor quiere. El proyecto es una forma de aprendizaje público, que construye la herramienta que el autor desearía que existiera mientras sigue buscando su primer trabajo en ingeniería de datos.
El diseño toma datos de dos fuentes, Hacker News y una bolsa de empleo, almacena la información en un data warehouse, orquesta el trabajo con una herramienta nueva y utiliza snapshots de dbt para registrar cuándo se abren y cierran las ofertas con el tiempo. Apache Airflow se eligió como orquestador porque es el nombre que más buscan los reclutadores, y reemplaza a Kestra en este proyecto.
BigQuery fue la primera opción de warehouse, pero Google Cloud exige un prepago obligatorio de 30 $ para vincular una cuenta de facturación en ciertos países antes de que se desbloqueen sus funciones de IAM y cuentas de servicio, incluso en el nivel gratuito. El autor cambió a DuckDB. dbt abstrae la mayor parte de la sintaxis específica de cada warehouse, así que las habilidades de transformación y snapshots deberían transferirse si el proyecto migra más adelante a BigQuery o Snowflake.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing