Você leu corretamente, Pandas deveria entrar em extinção. Não aquelas coisas fofas e peludas usadas para diplomacia internacional, mas a biblioteca Python Data Frame. Por quê? Porque as ineficiências do Pandas forçam você a adotar sistemas de consulta distribuídos antes que suas cargas de trabalho justifiquem a complexidade adicionada. Eu afirmo que a maioria das cargas de trabalho nunca justificará esses sistemas, eles são apenas 'balas de prata' bem comercializadas.

Para entender do que estou falando, primeiro devemos entender o caminho de adoção típico do Pandas. Seguindo-o da esquerda para a direita, você também vê o caminho de adoção típico para ferramentas de análise de dados, e o penhasco que os usuários do Pandas experimentam além de um certo tamanho de dados. As pessoas geralmente começam com Excel e se formam no Pandas em algum lugar na faixa de GB. O Pandas serve bem a eles na faixa de dezenas de GB, e então eles começam a ter problemas de memória, computação lenta, ou ficam frustrados com a API barroca do Pandas. A resposta tradicional neste ponto é se formar em uma ferramenta 'real' (leia-se: cara) como Spark, Databricks, Snowflake, ou Dask projetadas para Big Data™.

As alternativas que proponho, como aludido anteriormente, são DuckDB e Polars. Em linhas gerais, Polars é uma biblioteca Data Frame baseada em Rust que parece familiar ao Pandas, mas difere em vários aspectos importantes...