Der Autor dokumentiert seinen Wechsel ins Data Engineering und hat bereits zwei Pipelines gebaut: eine zeitgesteuerte GitHub-ETL-Pipeline, die Daten in SQLite speichert, und eine automatisierte RSS-Pipeline, die Tech-Artikel in PostgreSQL lädt. Beide werden mit Kestra orchestriert und mit Docker containerisiert, um sie auf AWS bereitzustellen.
Für dieses neue Projekt namens Level 3 besteht das Ziel darin, eine Pipeline zu bauen, die den Jobmarkt für genau die Rollen verfolgt, die der Autor anstrebt: Data Engineer, Analytics Engineer, ETL-Entwickler und verwandte Positionen. Jeder Durchlauf prüft, ob Arbeitgeber nach der Art von Rolle suchen, die sich der Autor wünscht. Das Projekt ist eine Form des Lernens in der Öffentlichkeit: Der Autor baut das Werkzeug, das er sich selbst gewünscht hätte, während er noch nach seiner ersten Stelle im Data Engineering sucht.
Das Design bezieht Daten aus zwei Quellen, Hacker News und einem Jobportal, speichert sie in einem Data Warehouse, orchestriert die Arbeit mit einem neuen Tool und nutzt dbt-Snapshots, um zu verfolgen, wann Stellenanzeigen im Zeitverlauf geöffnet und geschlossen werden. Apache Airflow wurde als Orchestrator gewählt, weil es der Name ist, den Recruiter am häufigsten suchen, und ersetzt in diesem Projekt Kestra.
BigQuery war die erste Wahl für das Warehouse, doch Google Cloud verlangt in bestimmten Ländern eine verpflichtende Vorauszahlung von 30 $, um ein Abrechnungskonto zu verknüpfen, bevor IAM- und Dienstkontofunktionen freigeschaltet werden, selbst im kostenlosen Tarif. Der Autor wechselte daher zu DuckDB. dbt abstrahiert den Großteil der warehousespezifischen Syntax, daher sollten Transformations- und Snapshot-Kenntnisse übertragbar bleiben, falls das Projekt später zu BigQuery oder Snowflake wechselt.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing