Release of Polars 2.0

Today we are shipping Polars 2.0. In the earlier announcement post we went through the rationale of the version bump. This post we will discuss what features 2.0 brings. Even though we didn't intend to make it a big feature release, it still packs a lot to get enthousiastic about.

Our initial version of out-of-core (spill-to-disk) support is enabled, a lot of very core performance improvements, first class SQL support, which together with the performance improvements has Polars leading Data Fusion and Duck DB in TPC-H and TPC-DS1 benchmarks, a new Map dtype, and stricter Polars on dtypes and explicitness, leading to faster feedback, and faster AI iteration.

Polars 2.0 will be the marking point where we will treat SQL as first class citizen. Polars SQL coverage has increased dramatically over last few months. In Polars 2.0, we want to enable that to more workloads, including SQL. To make this performant, we shipped many improvements to our optimizer and engine.

Calling collect on a Lazy Frame will now default to the streaming engine, leading to massive memory and performance improvements on most queries. Out-of-core (spill to disk) is now enabled by default. It starts spilling at ~80% of RAM.

اليوم نحن نطلق Polars 2.0. في المنشور الإعلاني السابقة، تناولنا تبرير زيادة الإصدار. في هذا المنشور، سن discusses ما الذي ي bringing ميزات 2.0. رغم أننا لم ننوِ أن نجعله إصدارًا كبيرًا من الميزات، إلا أنه لا يزال يحتوي على العديد من الأشياء التي ت excited له. تم تفعيل دعمنا Initial لـ Out-of-Core (spill-to-disk)، العديد من تحسينات الأداء الأساسية، دعم SQL من الدرجة الأولى، التي مع تحسينات الأperformance تجعل Polars تتفوق على Data Fusion و Duck DB في benchmarks TPC-H و TPC-DS1، نوع Map جديد، ومتطلبات أكثر صرامة على الأنواع (dtypes) والوضوح، مما يؤدي إلى تعليقات أسرع وiteration أسرع للذكاء الاصطناعي. Polars 2.0将是 نقطة ال herald حيث سنبدأ في معاملة SQL ك citizen من الدرجة الأولى. ازداد تغطية SQL في Polars بشكل هائل在过去 أشهر. في Polars 2.0، نريد تمكينها لـ more loads، بما في ذلك SQL. لجعلها performant، أطلقنا许多 تحسينات على optimize و engine. استcalling collect على Lazy Frame الآن ي default إلى streaming engine، مما يؤدي إلى تحسينات هائلة في ال memory و الأperformance على most queries. Out-of-core (spill to disk) الآن م enabled by default. يبدأ spilling عند ~80% of RAM.

আজ আমরা পোলার্স 2.0 প্রকাশ করেছি। পূর্ববর্তী ঘোষণা পোস্টে আমরা ভার্সন বৃদ্ধির যুক্তি নিয়ে আলাদা করেছিলাম। এই পোস্টে আমরা আলাদা করবো যে 2.0 কোন ফিচার্স আনছে। যদিও আমরা একে একটা বড় ফিচার রিলিজ হিসেবে তৈরি করার কথা ভাবিনি, তবু এতে অনেক কিছু আছে যা উত্সাহিত করবে। আমাদের প্রাথমিক আউট-অফ-কোর (স্পিল-টু-ডিস্ক) সমর্থন সক্রিয় হয়েছে, অনেক মূল প্রদর্শন উন্নতি, প্রথমশ্রেণীর SQL সমর্থন, যা প্রদর্শন উন্নতির সাথে পোলার্সকে TPC-H এবং TPC-DS1 বেঞ্চমার্কে ডেটা ফিউজন এবং ডাক ডিবির চেয়ে অগ্রসর করে, একটি নতুন ম্যাপ ডেটা প্রকার, এবং ডেটা প্রকার এবং স্পষ্টতার জন্য কঠোরতা, যা দ্রুত ফিডব্যাক এবং দ্রুত AI ইটারেশনের দিকে নিয়ে যায়। পোলার্স 2.0 হবে সেই পয়েন্ট যেখানে আমরা SQL কে প্রথমশ্রেণীর নাগরিক হিসেবে তৈরি করার শুরু করবো। পোলার্সে SQL কভারেজ গত কয়েক মাসে ভয়ানকভাবে বেড়েছে। পোলার্স 2.0-তে, আমরা চাই একে আরো বেশি ওয়ার্কলোডে, সম্ভিন্ন SQL, সক্রিয় করতে। এটাকে প্রদর্শনমূলক করার জন্য, আমরা অপটিমাইজার এবং ইঞ্জিনে অনেক উন্নতি প্রকাশ করেছি। লেজি ফ্রেমে collect কল করা এখন ডিফল্ট হিসেবে স্ট্রিমিং ইঞ্জিন ব্যবহার করবে, যা বেশিরভাগ কুয়েরিতে মেমোরি এবং প্রদর্শনে ভারী উন্নতি আনবে। আউট-অফ-কোর (স্পিল টু ডিস্ক) এখন ডিফল্ট সক্রিয়। এটা ~80% র্যাম পৌঁছালে স্পিল শুরু করে।

Heute liefern wir Polars 2.0. Im früheren Ankündigungspost ging es um die Begründung für den Versionbump. In diesem Post werden wir besprechen, was die Funktionen 2.0 mit sich bringen.

Obwohl wir nicht beabsichtigt haben, es als großes Feature-Release zu machen, hat es dennoch vieles, worauf man sich freuen kann. Unsere erste Version der Out-of-Core (Spill-to-Disk)-Unterstützung ist aktiviert, viele sehr grundlegende Leistungsverbesserungen, erstklassige SQL-Unterstützung, die zusammen mit den Leistungsverbesserungen Polars in den TPC-H- und TPC-DS1-Benchmarks an die Spitze von Data Fusion und Duck DB setzt, ein neues Map-Dtype, und strengere Polars auf Dtypes und Explizitheit, was zu schnellerer Feedback und schnellerer IA-Iteration führt. Polars 2.0 wird der Punkt sein, an dem wir SQL als erstklassigen Bürger behandeln werden.

Die SQL-Abdeckung in Polars hat in den letzten Monaten dramatisch zugenommen. In Polars 2.0 wollen wir das auf mehr Workloads ausdehlen, einschließlich SQL. Um dies performant zu machen, haben wir viele Verbesserungen an unserem Optimizer und Engine ausgeliefert.

Aufruf von collect auf einem Lazy Frame wird nun standardmäßig auf den Streaming-Engine setzen, was zu massiven Speicher- und Leistungsverbesserungen bei den meisten Abfragen führt. Out-of-Core (Spill to Disk) ist nun standardmäßig aktiviert. Es beginnt mit dem Spill bei ~80% des RAM.

Hoy estamos lanzando Polars 2.0. En el anuncio anterior explicamos la razón del incremento de versión. En este post hablaremos de las características que trae 2.0.

Aunque no pretendíamos que fuera un lanzamiento con muchas funciones nuevas, aún así incluye muchas cosas que generan entusiasmo. Hemos habilitado nuestra versión inicial de soporte out-of-core (spill-to-disk), muchas mejoras de rendimiento esenciales, soporte de primera clase para SQL, que junto con las mejoras de rendimiento hace que Polars supere a Data Fusion y Duck DB en las pruebas de rendimiento TPC-H y TPC-DS1, un nuevo dtype Map, y requisitos más estrictos sobre dtypes y explicitidad, lo que lleva a retroalimentación más rápida y iteración más rápida de IA. Polars 2.0 será el punto en el que comenzaremos a tratar a SQL como un ciudadano de primera clase.

El cobertura de SQL en Polars ha aumentado drásticamente en los últimos meses. En Polars 2.0, queremos habilitarlo para más cargas de trabajo, incluyendo SQL. Para que esto sea eficiente, hemos enviado muchas mejoras a nuestro optimizador y motor.

Llamar a collect en un Lazy Frame ahora usará por defecto el motor de streaming, lo que lleva a mejoras masivas de memoria y rendimiento en la mayoría de las consultas. Out-of-core (spill a disco) está ahora habilitado por defecto. Comienza a spillar al ~80% de la RAM.

Aujourd'hui, nous livrons Polars 2.0. Dans l'annonce précédente, nous avons expliqué la raison du bump de version. Dans ce post, nous allons discuter des fonctionnalités que 2.0 apporte.

Même si nous n'avions pas l'intention de faire une grande sortie de fonctionnalités, elle pack toujours beaucoup de choses passionnantes. Notre version initiale du support out-of-core (spill-to-disk) est activée, de nombreuses améliorations de performance essentielles, un support SQL de première classe, qui ensemble avec les améliorations de performance fait de Polars le leader sur Data Fusion et Duck DB dans les benchmarks TPC-H et TPC-DS1, un nouveau type Map, et des exigences plus strictes sur les types (dtypes) et l'explicitness, menant à des retours plus rapides et à des itérations IA plus rapides. Polars 2.0 marquera le point où nous allons traiter SQL comme un citoyen de première classe.

La couverture SQL dans Polars a augmenté de manière drastique ces derniers mois. Dans Polars 2.0, nous voulons le permettre à plus de workloads, incluant SQL. Pour en faire performant, nous avons livré de nombreuses améliorations à notre optimiseur et moteur.

Appeler collect sur un Lazy Frame va maintenant par défaut utiliser le moteur streaming, menant à des améliorations massives de mémoire et de performance sur la plupart des requêtes. Le support out-of-core (spill to disk) est maintenant activé par défaut. Il commence à spiller à ~80% de la RAM.

आज हम पोलर्स 2.0 जारी कर रहे हैं। पिछले घोषणा पोस्ट में हमने वर्ष संक्रमण के तर्क पर चर्चा की थी। इस पोस्ट में हम चर्चा करेंगे कि 2.0 क्या फीचर्स लाता है। हालांकि हमने इसे एक बड़ी फीचर रिलीज के रूप में बनाने की कोशिश नहीं की थी, फिर भी इसमें ऐसी कई चीजें हैं जिनके बारे में उत्साहित होने के लिए काफी कुछ है। हमारी प्रारंभिक आउट-ऑफ-कोर (स्पिल-टू-डिस्क) समर्थन सक्रिय है, बहुत सारे मूल प्रदर्शन सुधार, प्रथम-श्रेणी SQL समर्थन, जो प्रदर्शन सुधारों के साथ ही पोलर्स को TPC-H और TPC-DS1 बेंचमार्क में डेटा फ्यूजन और डक डीबी से आगे लाता है, एक नया मैप डेटा प्रकार, और डेटा प्रकारों और स्पष्टता के लिए कठोरता जो तेज प्रतिक्रिया और तेज AI इटरेशन की ओर ले जाती है। पोलर्स 2.0 वह बिंदु होगा जहां हम SQL को प्रथम-श्रेणी नागरिक के रूप में उपचार करना शुरू करेंगे। पिछले कुछ महीनों में पोलर्स में SQL कवरेज भयानक रूप से बढ़ा है। पोलर्स 2.0 में, हम इसे अधिक वर्कलोड्स, शामिल SQL के लिए सक्रिय करना चाहते हैं। इसे प्रदर्शनी बनाने के लिए, हमने अपने ऑप्टिमाइजर और इंजन में कई सुधार जारी किए हैं। लेजी फ्रेम पर कॉलेक्ट का कॉल करना अब डिफ़ॉल्ट रूप से स्ट्रीमिंग इंजन का उपयोग करेगा, जिससे अधिकांश क्वेरीज में मेमोरी और प्रदर्शन में भारी सुधार होगा। आउट-ऑफ-कोर (स्पिल टू डिस्क) अब डिफ़ॉल्ट रूप से सक्रिय है। यह रैम के लगभग 80% पर स्पिलिंग शुरू करता है।

Hari ini kami merilis Polars 2.0. Dalam pengumuman sebelumnya, kami membahas alasan peningkatan versi. Posting ini akan membahas fitur-fitur yang dibawa oleh 2.0.

Meskipun kami tidak bermaksud untuk membuat rilis fitur besar, ia masih menyediakan banyak hal yang menggairahkan. Dukungan out-of-core (spill-to-disk) awal kami diaktifkan, banyak peningkatan kinerja inti, dukungan SQL kelas satu, yang bersama-sama dengan peningkatan kinerja membuat Polars memimpin Data Fusion dan Duck DB dalam benchmark TPC-H dan TPC-DS1, dtype Map baru, dan persyaratan yang lebih ketat pada dtype dan eksplisititas, yang mengarah pada feedback yang lebih cepat dan iterasi AI yang lebih cepat. Polars 2.0 akan menjadi titik di mana kita akan memperlakukan SQL sebagai warga negara kelas satu.

Cakupan SQL di Polars meningkat secara dramatis dalam beberapa bulan terakhir. Dalam Polars 2.0, kami ingin mengaktifkannya untuk lebih banyak beban kerja, termasuk SQL. Untuk membuatnya performan, kami mengirimkan banyak peningkatan ke optimizer dan engine kami.

Memanggil collect pada Lazy Frame sekarang default ke engine streaming, menghasilkan peningkatan memori dan kinerja yang masif pada kebanyakan query. Out-of-core (spill to disk) sekarang diaktifkan secara default. Mulai spill pada ~80% RAM.

今天我们发布了 Polars 2.0。在之前的公告中，我们讨论了版本升级的原因。这篇文章将讨论 2.0 带来的功能。尽管我们没有打算将其作为一个大型功能版本发布，但它仍然包含了许多令人兴奋的特性。我们初步的 out-of-core（spill-to-disk）支持已启用，许多核心性能改进，第一级 SQL 支持，结合性能改进，使 Polars 在 TPC-H 和 TPC-DS1 基准测试中领先于 Data Fusion 和 Duck DB，一个新的 Map dtype，以及更严格的 Polars dtypes 和显式性要求，从而带来更快的反馈和更快的 AI 迭代。Polars 2.0 将标志着我们开始将 SQL 视为第一级公民。过去几个月中，Polars 的 SQL 覆盖范围已显著扩大。在 Polars 2.0 中，我们希望将其扩展到更多工作负载，包括 SQL。为了使其高性能，我们对优化器和引擎进行了许多改进。在 Lazy Frame 上调用 collect 现在默认使用流式引擎，从而在大多数查询中带来巨大的内存和性能改进。Out-of-core（spill to disk）现在默认启用。它在内存使用达到约 80% 时开始 spill。

Hoje estamos lançando Polars 2.0. No anúncio anterior, passamos pela razão do bump de versão. Este post vamos discutir o que o 2.0 traz.

Embora não pretendêssemos torná-lo um grande lançamento de recursos, ele ainda reúne muitas coisas para se entusiasmar. Nossa versão inicial de suporte out-of-core (spill-to-disk) está habilitada, muitas melhorias de desempenho essenciais, suporte SQL de primeira classe, que junto com as melhorias de desempenho torna Polars líder sobre Data Fusion e Duck DB nos benchmarks TPC-H e TPC-DS1, um novo dtype Map, e requisitos mais estritos sobre dtypes e explicitness, levando a feedback mais rápido e iteração de IA mais rápida. Polars 2.0 será o ponto em que vamos tratar SQL como cidadão de primeira classe.

A cobertura SQL no Polars aumentou drasticamente nos últimos meses. No Polars 2.0, queremos habilitá-lo para mais workloads, incluindo SQL. Para torná-lo performante, muitas melhorias foram enviadas para nosso otimizador e motor.

Chamar collect em um Lazy Frame agora padrão para o motor de streaming, levando a melhorias massivas de memória e desempenho na maioria das consultas. Out-of-core (spill to disk) está agora habilitado por padrão. Começa a spiller em ~80% da RAM.

Сегодня мы выпускаем Polars 2.0. В предыдущем анонсе мы обсудили причину повышения версии. В этом посте мы рассмотрим, что такое функции 2.0. Несмотря на то, что мы не собирались делать его крупным релизом функций, он все равно содержит много всего, что может взволновать. Наша начальная поддержка out-of-core (spill-to-disk) включена, множество важных улучшений производительности, поддержка SQL первого класса, которая вместе с улучшениями производительности делает Polars лидером над Data Fusion и Duck DB в бенчмарках TPC-H и TPC-DS1, новый тип Map, и более строгие требования к dtypes и явности, что приводит к более быстрой обратной связи и более быстрой итерации ИИ. Polars 2.0 станет точкой, где мы начнем рассматривать SQL как citizen первого класса. Покрытие SQL в Polars резко выросло за последние несколько месяцев. В Polars 2.0 мы хотим включить его в больше рабочих нагрузок, включая SQL. Для того чтобы сделать это производительным, мы отправили множество улучшений в наш оптимайзер и движок. Вызов collect на Lazy Frame теперь по умолчанию использует streaming engine, что приводит к массовым улучшениям памяти и производительности на большинстве запросов. Out-of-core (spill to disk) теперь включен по умолчанию. Он начинает spillить при ~80% ОЗУ.

今天，我们发布了 Polars 2.0。在之前的公告中，我们已经讨论过版本升级的原因。本文将重点介绍 2.0 带来的新功能。尽管我们并未打算将其作为一个大型功能版本发布，但它仍然包含了许多令人兴奋的特性。我们初步启用了 out-of-core（溢出到磁盘）支持，实现了多项核心性能优化，提供了对 SQL 的一流支持——结合性能改进，Polars 在 TPC-H 和 TPC-DS1 基准测试中已超越 Data Fusion 和 Duck DB；此外还引入了新的 Map dtype，并加强了对 dtype 和显式性的要求，从而实现更快的反馈和更高效的 AI 迭代。Polars 2.0 将标志着我们开始将 SQL 视为一等公民。过去几个月中，Polars 的 SQL 覆盖范围已显著扩大。在 2.0 版本中，我们希望将其扩展到更多工作负载，包括 SQL 查询。为了提升性能，我们对优化器和引擎进行了大量改进。现在，调用 Lazy Frame 的 collect 方法将默认使用流式引擎，从而在大多数查询中大幅降低内存使用并提升性能。Out-of-core（溢出到磁盘）功能现已默认启用，当内存使用达到约 80% 时，系统将自动开始溢出数据。