Aujourd'hui, nous livrons Polars 2.0. Dans l'annonce précédente, nous avons expliqué la raison du bump de version. Dans ce post, nous allons discuter des fonctionnalités que 2.0 apporte.
Même si nous n'avions pas l'intention de faire une grande sortie de fonctionnalités, elle pack toujours beaucoup de choses passionnantes. Notre version initiale du support out-of-core (spill-to-disk) est activée, de nombreuses améliorations de performance essentielles, un support SQL de première classe, qui ensemble avec les améliorations de performance fait de Polars le leader sur Data Fusion et Duck DB dans les benchmarks TPC-H et TPC-DS1, un nouveau type Map, et des exigences plus strictes sur les types (dtypes) et l'explicitness, menant à des retours plus rapides et à des itérations IA plus rapides. Polars 2.0 marquera le point où nous allons traiter SQL comme un citoyen de première classe.
La couverture SQL dans Polars a augmenté de manière drastique ces derniers mois. Dans Polars 2.0, nous voulons le permettre à plus de workloads, incluant SQL. Pour en faire performant, nous avons livré de nombreuses améliorations à notre optimiseur et moteur.
Appeler collect sur un Lazy Frame va maintenant par défaut utiliser le moteur streaming, menant à des améliorations massives de mémoire et de performance sur la plupart des requêtes. Le support out-of-core (spill to disk) est maintenant activé par défaut. Il commence à spiller à ~80% de la RAM.
Source: Hacker News · Résumé par HeadlinesBriefing