Hoy estamos lanzando Polars 2.0. En el anuncio anterior explicamos la razón del incremento de versión. En este post hablaremos de las características que trae 2.0.
Aunque no pretendíamos que fuera un lanzamiento con muchas funciones nuevas, aún así incluye muchas cosas que generan entusiasmo. Hemos habilitado nuestra versión inicial de soporte out-of-core (spill-to-disk), muchas mejoras de rendimiento esenciales, soporte de primera clase para SQL, que junto con las mejoras de rendimiento hace que Polars supere a Data Fusion y Duck DB en las pruebas de rendimiento TPC-H y TPC-DS1, un nuevo dtype Map, y requisitos más estrictos sobre dtypes y explicitidad, lo que lleva a retroalimentación más rápida y iteración más rápida de IA. Polars 2.0 será el punto en el que comenzaremos a tratar a SQL como un ciudadano de primera clase.
El cobertura de SQL en Polars ha aumentado drásticamente en los últimos meses. En Polars 2.0, queremos habilitarlo para más cargas de trabajo, incluyendo SQL. Para que esto sea eficiente, hemos enviado muchas mejoras a nuestro optimizador y motor.
Llamar a collect en un Lazy Frame ahora usará por defecto el motor de streaming, lo que lleva a mejoras masivas de memoria y rendimiento en la mayoría de las consultas. Out-of-core (spill a disco) está ahora habilitado por defecto. Comienza a spillar al ~80% de la RAM.
Fuente: Hacker News · Resumido por HeadlinesBriefing