DuckDB 2.0 alpha sekarang tersedia dan memberikan peningkatan kinerja yang signifikan, khususnya untuk query S3. Pada laptop M5, satu query mengambil 7,7 detik dibandingkan 18,8 detik pada versi 1.5.5 — peningkatan lebih dari 2x. Pencapaian kunci adalah I/O asinkron, yang memisahkan download jaringan dari pekerjaan decoding CPU.
Alih-alih worker secara sequential download, menunggu, dan decoding, versi 2.0 menggunakan pool download khusus yang menjaga puluhan grup baris dalam penerbangan sementara worker fokus hanya pada decoding. Pendekatan paralel ini menjaga jaringan dan CPU tetap sibuk secara bersamaan. Tes menggunakan file Parquet 2,2 GB dari S3 berisi 228 juta baris.
Pengguna yang membangun pipeline daripada engine database akan merasakan perbedaan paling saat bekerja dengan storage cloud. Testing penuh membutuhkan pemahaman bentuk data dan pendekatan pemodelan. Jalankan benchmark Anda sendiri sebelum mengutip hasil.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing