HeadlinesBriefing HeadlinesBriefing.com

DuckDB 2.0 Alpha、S3クエリを高速化

Hacker News •
×

DuckDB 2.0 alphaが利用可能になり、特にS3クエリ对于で大幅なパフォーマンス向上を実現しました。M5ノートPCでのテストでは、あるクエリが7.7秒で完了し、バージョン1.5.5では18.8秒かかっていたため、2倍以上の高速化 became。关键的進歩は非同期I/Oで、ネットワークダウンロードとCPUデコード作業を分離しています。ワーカーが順次ダウンロード→待機→デコードを行うのではなく、バージョン2.0では専用のダウンロードプールを使用し、数十のローググループを並行して Flight させながら、ワーカーはデコード作業に集中します。この並列アプローチにより、ネットワークとCPUが同時に活用されます。テストでは、S3から2.2GBのParquetファイルを使用し、2.28億行を含んでいました。データベースエンジンではなくパイプラインを構築するユーザーは、クラウドストレージと連携する際に差異を最も感じます。完全なテストには、データの形状とモデル링アプローチを理解する必要があります。結果を引用する前に、自分のベンチマークを実行してください。

出典: Hacker News · 要約:HeadlinesBriefing