筆者はデータエンジニアリングへの転身を記録しており、これまでに2つのパイプラインを構築しています。1つはSQLiteにデータを保存する定期実行のGitHub ETLパイプライン、もう1つはPostgreSQLに技術記事を読み込む自動化されたRSSパイプラインです。どちらもKestraで管理され、AWSへのデプロイのためにDockerでコンテナ化されています。
Level 3と名付けられた今回の新しいプロジェクトの目標は、筆者が目指している職種、すなわちデータエンジニア、アナリティクスエンジニア、ETL開発者などの求人市場を追跡するパイプラインを構築することです。実行のたびに、雇用主が筆者の希望する種類の職種を募集しているかどうかを確認します。このプロジェクトは公開しながら学ぶ取り組みであり、筆者がまだ最初のデータエンジニアリングの仕事を探している間に、かつて欲しかったツールを作るものです。
設計ではHacker Newsと求人サイトの2つのソースからデータを取得し、データウェアハウスに格納し、新しいツールで処理を調整し、dbtスナップショットを使って求人が時間とともにいつ掲載され、いつ終了したかを追跡します。採用担当者が最も検索する名称であるため、オーケストレーターにはApache Airflowが選ばれ、このプロジェクトではKestraに代わって採用されました。
ウェアハウスの第一候補はBigQueryでしたが、Google Cloudは一部の国では、IAMやサービスアカウントの機能を使えるようにする前に、請求アカウントをリンクするための30ドルの前払いを必須としています。無料枠でも同様です。そこで筆者はDuckDBに切り替えました。dbtはウェアハウス固有の構文の大部分を抽象化しているため、将来プロジェクトをBigQueryやSnowflakeに移行しても、変換やスナップショットのスキルはそのまま活かせます。
出典: Towards Data Science · 要約：HeadlinesBriefing