Heute liefern wir Polars 2.0. Im früheren Ankündigungspost ging es um die Begründung für den Versionbump. In diesem Post werden wir besprechen, was die Funktionen 2.0 mit sich bringen.
Obwohl wir nicht beabsichtigt haben, es als großes Feature-Release zu machen, hat es dennoch vieles, worauf man sich freuen kann. Unsere erste Version der Out-of-Core (Spill-to-Disk)-Unterstützung ist aktiviert, viele sehr grundlegende Leistungsverbesserungen, erstklassige SQL-Unterstützung, die zusammen mit den Leistungsverbesserungen Polars in den TPC-H- und TPC-DS1-Benchmarks an die Spitze von Data Fusion und Duck DB setzt, ein neues Map-Dtype, und strengere Polars auf Dtypes und Explizitheit, was zu schnellerer Feedback und schnellerer IA-Iteration führt. Polars 2.0 wird der Punkt sein, an dem wir SQL als erstklassigen Bürger behandeln werden.
Die SQL-Abdeckung in Polars hat in den letzten Monaten dramatisch zugenommen. In Polars 2.0 wollen wir das auf mehr Workloads ausdehlen, einschließlich SQL. Um dies performant zu machen, haben wir viele Verbesserungen an unserem Optimizer und Engine ausgeliefert.
Aufruf von collect auf einem Lazy Frame wird nun standardmäßig auf den Streaming-Engine setzen, was zu massiven Speicher- und Leistungsverbesserungen bei den meisten Abfragen führt. Out-of-Core (Spill to Disk) ist nun standardmäßig aktiviert. Es beginnt mit dem Spill bei ~80% des RAM.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing