O autor vem documentando sua transição para a engenharia de dados e já construiu dois pipelines: um pipeline ETL agendado do GitHub que armazena dados em SQLite, e um pipeline RSS automatizado que carrega artigos de tecnologia no PostgreSQL, orquestrados com Kestra e conteinerizados com Docker para implantação na AWS.
Para este novo projeto, chamado Level 3, o objetivo é construir um pipeline que acompanhe o mercado de trabalho para os cargos exatos que o autor busca: engenheiro de dados, engenheiro de analytics, desenvolvedor ETL e posições relacionadas. Cada execução verifica se os empregadores estão contratando para o tipo de função que o autor deseja. O projeto é uma forma de aprendizado público, construindo a ferramenta que o autor gostaria de ter tido enquanto ainda procura seu primeiro emprego em engenharia de dados.
O design coleta dados de duas fontes, o Hacker News e um portal de vagas, armazena as informações em um data warehouse, orquestra o trabalho com uma nova ferramenta e usa snapshots do dbt para registrar quando as vagas são abertas e encerradas ao longo do tempo. O Apache Airflow foi escolhido como orquestrador porque é o nome que os recrutadores mais pesquisam, substituindo o Kestra neste projeto.
O BigQuery foi a primeira escolha de warehouse, mas o Google Cloud exige um pré-pagamento obrigatório de US$ 30 para vincular uma conta de faturamento em certos países antes que seus recursos de IAM e contas de serviço sejam liberados, mesmo no nível gratuito. O autor mudou para o DuckDB. O dbt abstrai a maior parte da sintaxe específica de cada warehouse, então as habilidades de transformação e snapshots devem se transferir caso o projeto migre futuramente para o BigQuery ou o Snowflake.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing