Вы прочитали правильно, Pandas должна вымереть. Не те милые пушистые создания, используемые для международной дипломатии, а библиотека Python Data Frame. Почему? Потому что неэффективность Pandas заставляет вас переходить на распределенные системы запросов до того, как ваши рабочие нагрузки оправдают добавленную сложность. Я утверждаю, что большинство рабочих нагрузок никогда не оправдают эти системы, это просто хорошо смаркетингованные «серебряные пули».

Чтобы понять, о чем я говорю, мы должны сначала понять типичный путь внедрения Pandas. Следуя ему слева направо, вы также видите типичный путь внедрения инструментов анализа данных, и обрыв, с которым сталкиваются пользователи Pandas после определенного размера данных. Обычно люди начинают с Excel и переходят на Pandas где-то в диапазоне ГБ. Pandas хорошо служит им в диапазоне десятков ГБ, а затем они начинают сталкиваться с проблемами памяти, медленными вычислениями или разочаровываются в извилистом API Pandas. Традиционный ответ на этом этапе — перейти на «настоящий» (читай: дорогой) инструмент вроде Spark, Databricks, Snowflake или Dask, предназначенных для Big Data™.

Альтернативы, которые я предлагаю, как было упомянуто ранее, — это DuckDB и Polars. В широких чертах, Polars — это библиотека Data Frame на базе Rust, которая ощущается знакомой для Pandas, но отличается в нескольких важных аспектах...