Vor vielen Jahren war eine Datenbank wie Oracle oder Postgres die Hauptwahl, wenn Sie große Datenmengen speichern wollten, die sinnvoll abgefragt werden konnten. Der nächste große Fortschritt war das Data Warehouse, gefolgt vom Data Lake. Data Lakes ermöglichten Organisationen, viel größere Mengen an rohen strukturierten, halbstrukturierten und unstrukturierten Daten günstig zu speichern. Unternehmen wie Databricks, Snowflake und AWS verlangen hohe Gebühren, aber Sie können mit DuckDB und der DuckLake-Erweiterung ein effektives Data Lake für fast null Kosten entwickeln.

Sowohl DuckDB als auch DuckLake sind MIT-lizenziert, Open Source und kostenlos nutzbar. DuckLake, entwickelt vom DuckDB-Team, verwaltet Metadaten in einer relationalen Datenbank statt in Dateien, die zusammen mit Parquet-Daten abgelegt sind.

Der Artikel führt durch die Erstellung eines lokalen DuckLake, die Untersuchung von Metadaten, Time-Travel-Abfragen, die Weiterentwicklung eines Tabellenschemas und die Nutzung cloud-basierter S3-Daten mit DuckLake.

Wichtige Entitäten: Unternehmen: Oracle, Databricks, Snowflake, AWS