Anda membaca dengan benar, Pandas seharusnya punah. Bukan lucu hal-hal berbulu yang digunakan untuk diplomasi internasional, tapi library Python Data Frame. Mengapa? Karena ketidakefisienan Pandas memaksa Anda untuk mengadopsi sistem kueri terdistribusi sebelum beban kerja Anda membenarkan kompleksitas tambahan. Saya berpendapat bahwa sebagian besar beban kerja tidak akan pernah membenarkan sistem-sistem itu, mereka hanyalah 'peluru perak' yang dipasarkan dengan baik.

Untuk memahami apa yang saya bicarakan, kita harus pertama memahami jalur adopsi典型的 Pandas. Mengikutinya dari kiri ke kanan, Anda juga melihat jalur adopsi典型的 untuk alat analisis data, dan tebing yang pengguna Pandas alami di luar ukuran data tertentu. Orang biasanya mulai dengan Excel dan lulus ke Pandas di sekitar rentang GB. Pandas melayani mereka dengan baik ke rentang 10s GB, dan kemudian mereka mulai menghadapi masalah memori, komputasi lambat, atau menjadi frustrasi dengan API baroque Pandas. Jawaban tradisional pada titik ini adalah lulus ke alat 'nyata' (baca: mahal) seperti Spark, Databricks, Snowflake, atau Dask yang dirancang untuk Big Data™.

Alternatif yang saya usulkan, seperti yang disinggung sebelumnya adalah DuckDB dan Polars. Secara garis besar, Polars adalah library Data Frame berbasis Rust yang terasa familiar seperti Pandas, tapi berbeda dalam beberapa aspek penting...