今天，我们发布了 Polars 2.0。在之前的公告中，我们已经讨论过版本升级的原因。本文将重点介绍 2.0 带来的新功能。尽管我们并未打算将其作为一个大型功能版本发布，但它仍然包含了许多令人兴奋的特性。我们初步启用了 out-of-core（溢出到磁盘）支持，实现了多项核心性能优化，提供了对 SQL 的一流支持——结合性能改进，Polars 在 TPC-H 和 TPC-DS1 基准测试中已超越 Data Fusion 和 Duck DB；此外还引入了新的 Map dtype，并加强了对 dtype 和显式性的要求，从而实现更快的反馈和更高效的 AI 迭代。Polars 2.0 将标志着我们开始将 SQL 视为一等公民。过去几个月中，Polars 的 SQL 覆盖范围已显著扩大。在 2.0 版本中，我们希望将其扩展到更多工作负载，包括 SQL 查询。为了提升性能，我们对优化器和引擎进行了大量改进。现在，调用 Lazy Frame 的 collect 方法将默认使用流式引擎，从而在大多数查询中大幅降低内存使用并提升性能。Out-of-core（溢出到磁盘）功能现已默认启用，当内存使用达到约 80% 时，系统将自动开始溢出数据。
来源: Hacker News · 由HeadlinesBriefing整理摘要