Сегодня мы выпускаем Polars 2.0. В предыдущем анонсе мы обсудили причину повышения версии. В этом посте мы рассмотрим, что такое функции 2.0. Несмотря на то, что мы не собирались делать его крупным релизом функций, он все равно содержит много всего, что может взволновать. Наша начальная поддержка out-of-core (spill-to-disk) включена, множество важных улучшений производительности, поддержка SQL первого класса, которая вместе с улучшениями производительности делает Polars лидером над Data Fusion и Duck DB в бенчмарках TPC-H и TPC-DS1, новый тип Map, и более строгие требования к dtypes и явности, что приводит к более быстрой обратной связи и более быстрой итерации ИИ. Polars 2.0 станет точкой, где мы начнем рассматривать SQL как citizen первого класса. Покрытие SQL в Polars резко выросло за последние несколько месяцев. В Polars 2.0 мы хотим включить его в больше рабочих нагрузок, включая SQL. Для того чтобы сделать это производительным, мы отправили множество улучшений в наш оптимайзер и движок. Вызов collect на Lazy Frame теперь по умолчанию использует streaming engine, что приводит к массовым улучшениям памяти и производительности на большинстве запросов. Out-of-core (spill to disk) теперь включен по умолчанию. Он начинает spillить при ~80% ОЗУ.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing