Hari ini kami merilis Polars 2.0. Dalam pengumuman sebelumnya, kami membahas alasan peningkatan versi. Posting ini akan membahas fitur-fitur yang dibawa oleh 2.0.
Meskipun kami tidak bermaksud untuk membuat rilis fitur besar, ia masih menyediakan banyak hal yang menggairahkan. Dukungan out-of-core (spill-to-disk) awal kami diaktifkan, banyak peningkatan kinerja inti, dukungan SQL kelas satu, yang bersama-sama dengan peningkatan kinerja membuat Polars memimpin Data Fusion dan Duck DB dalam benchmark TPC-H dan TPC-DS1, dtype Map baru, dan persyaratan yang lebih ketat pada dtype dan eksplisititas, yang mengarah pada feedback yang lebih cepat dan iterasi AI yang lebih cepat. Polars 2.0 akan menjadi titik di mana kita akan memperlakukan SQL sebagai warga negara kelas satu.
Cakupan SQL di Polars meningkat secara dramatis dalam beberapa bulan terakhir. Dalam Polars 2.0, kami ingin mengaktifkannya untuk lebih banyak beban kerja, termasuk SQL. Untuk membuatnya performan, kami mengirimkan banyak peningkatan ke optimizer dan engine kami.
Memanggil collect pada Lazy Frame sekarang default ke engine streaming, menghasilkan peningkatan memori dan kinerja yang masif pada kebanyakan query. Out-of-core (spill to disk) sekarang diaktifkan secara default. Mulai spill pada ~80% RAM.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing