Sie haben richtig gelesen, Pandas sollte aussterben. Nicht jene niedlichen flauschigen Dinge, die für internationale Diplomatie verwendet werden, sondern die Python Data Frame Bibliothek. Warum? Weil Pandas' Ineffizienzen Sie zwingen, verteilte Abfragesysteme einzuführen, bevor Ihre Workloads die zusätzliche Komplexität rechtfertigen. Ich behaupte, dass die meisten Workloads diese Systeme nie rechtfertigen werden, es sind nur gut vermarktete 'Silberkugeln'.

Um zu verstehen, wovon ich spreche, müssen wir zuerst den typischen Adoptionspfad von Pandas verstehen. Folgt man ihm von links nach rechts, sieht man auch den typischen Adoptionspfad für Datenanalysetools und die Klippe, die Pandas-Nutzer jenseits einer bestimmten Datengröße erleben. Menschen beginnen typischerweise mit Excel und steigen irgendwo im GB-Bereich auf Pandas um. Pandas dient ihnen gut in den 10er-GB-Bereich, und dann fangen sie an, auf Speicherprobleme, langsame Berechnungen zu stoßen oder frustriert zu sein über Pandas' barocke API. Die traditionelle Antwort an diesem Punkt ist, auf ein 'echtes' (lesen Sie: teures) Tool wie Spark, Databricks, Snowflake oder Dask umzusteigen, die für Big Data™ entwickelt wurden.

Die Alternativen, die ich vorschlage, wie zuvor angedeutet, sind DuckDB und Polars. In groben Zügen ist Polars eine Rust-basierte Data Frame Bibliothek, die sich vertraut wie Pandas anfühlt, aber in mehreren wichtigen Aspekten abweicht...