Há muitos anos, se você quisesse armazenar grandes quantidades de dados que pudessem ser consultados de forma sensata, um banco de dados como Oracle ou Postgres era sua principal escolha. O próximo grande avanço foi o data warehouse, seguido pelo data lake. Data lakes permitiram que organizações armazenassem volumes muito maiores de dados brutos estruturados, semiestruturados e não estruturados de forma barata. Empresas como Databricks, Snowflake e AWS cobram caro, mas você pode desenvolver um data lake eficaz por quase zero custo com DuckDB e a extensão DuckLake.

Tanto DuckDB quanto DuckLake são licenciados sob MIT, open source e gratuitos. DuckLake, desenvolvido pela equipe do DuckDB, gerencia metadados em um banco de dados relacional em vez de arquivos co-localizados com dados Parquet.

O artigo percorre a criação de um DuckLake local, examinando metadados, consultas de viagem no tempo, evoluindo o esquema de uma tabela e usando dados S3 baseados na nuvem com DuckLake.

Entidades-chave: Empresas: Oracle, Databricks, Snowflake, AWS