Has leído correctamente, Pandas debería extinguirse. No me refiero a los lindos animales peludos usados para la diplomacia internacional, sino a la librería Python Data Frame. ¿Por qué? Porque las ineficiencias de Pandas te obligan a adoptar sistemas de consulta distribuidos antes de que tus cargas de trabajo justifiquen la complejidad añadida. Sostengo que la mayoría de las cargas de trabajo nunca justificarán esos sistemas, son solo 'balas de plata' bien comercializadas.

Para entender de qué hablo, primero debemos comprender la ruta de adopción típica de Pandas. Siguiéndola de izquierda a derecha, también ves la ruta de adopción típica para herramientas de análisis de datos, y el acantilado que experimentan los usuarios de Pandas más allá de cierto tamaño de datos. La gente suele empezar con Excel y graduarse a Pandas en el rango de GB. Pandas les sirve bien hasta el rango de decenas de GB, y entonces empiezan a tener problemas de memoria, cómputo lento, o se frustran con la API barroca de Pandas. La respuesta tradicional en este punto es graduarse a una herramienta 'real' (léase: cara) como Spark, Databricks, Snowflake o Dask, diseñadas para Big Data™.

Las alternativas que propongo, como se aludió anteriormente, son DuckDB y Polars. En líneas generales, Polars es una librería Data Frame basada en Rust que se siente familiar a Pandas, pero difiere en varios aspectos im...