タイトル通りです、Pandas は絶滅すべきです。国際外交に使われる愛くるしいフワフワの動物のことではなく、Python の Data Frame ライブラリのことです。なぜか？ Pandas の非効率性が、ワークロードがまだ追加の複雑さを正当化していない段階で、分散クエリシステムの導入を強いるからです。ほとんどのワークロードは、それらのシステムを決して正当化しないでしょう。それらは単によくマーケティングされた「銀の弾丸」に過ぎません。

私が何について話しているかを理解するには、まず Pandas の典型的な採用パスを理解する必要があります。これを左から右へとたどると、データ分析ツールの典型的な採用パスと、Pandas ユーザーがあるデータサイズを超えたときに経験する「崖」が見えてきます。人々は通常 Excel から始め、GB 範囲のどこかで Pandas に「卒業」します。Pandas は 10 GB 台の範囲まで彼らにうまく機能しますが、その後メモリ不足、計算速度の低下、または Pandas の複雑怪奇な API に対するフラストレーションに直面し始めます。この時点での定石の答えは、Spark、Databricks、Snowflake、Dask といった Big Data™ 向けに設計された「本物の」（読み：高価な）ツールに「卒業」することです。

私が以前示唆した通り、提案する代替案は DuckDB と Polarsです。大まかに言うと、Polars は Rust 製の Data Frame ライブラリで、Pandas に親しみを感じさせますが、いくつかの重要な点で異なります…