DuckDB 2.0 alpha 现已发布,带来显著性能提升,尤其针对 S3 查询。在 M5 笔记本上的测试显示,某查询耗时 7.7 秒,而 1.5.5 版本为 18.8 秒——性能提升超过 2 倍。关键改进在于异步 I/O,它将网络下载与 CPU 解码工作分离。2.0 版本不再由工作线程顺序执行下载、等待和解码,而是使用专用下载池,使数十个行组同时传输,工作线程则专注于解码。这种并行方式使网络和 CPU 同时保持忙碌。测试使用来自 S3 的 2.2 GB Parquet 文件,包含 2.28 亿行数据。构建数据管道而非数据库引擎的用户在处理云存储时将感受最明显差异。完整测试需理解数据形态与建模方法。引用结果前请自行运行基准测试。
来源: Hacker News · 由HeadlinesBriefing整理摘要