長い前、大量のデータを合理的にクエリ可能な形で保存したい場合、Oracle や Postgres のようなデータベースが主な選択肢でした。次の大きな進歩はデータウェアハウス、そしてデータレイクでした。データレイクにより、組織は構造化、半構造化、非構造化の生データを大量に安価に保存できるようになりました。Databricks、Snowflake、AWS などの企業は高額な料金を請求しますが、DuckDB と DuckLake 拡張を使えば、ほぼゼロコストで効果的なデータレイクを開発できます。

DuckDB と DuckLake はともに MIT ライセンスで、オープンソース、無料で利用できます。DuckLake は DuckDB チームによって開発され、Parquet データと共に配置されるファイルではなく、リレーショナルデータベースでメタデータを管理します。

この記事では、ローカル DuckLake の作成、メタデータの確認、タイムトラベルクエリ、テーブルスキーマの進化、クラウドベースの S3 データを DuckLake で使用する方法を説明します。

主要エンティティ: 企業: Oracle、Databricks、Snowflake、AWS