आपने सही पढ़ा, पांडास को विलुप्त हो जाना चाहिए। उन प्यारे रोएंदार चीजों का नहीं जो अंतर्राष्ट्रीय कूटनीति के लिए उपयोग होते हैं, बल्कि पायथन डेटा फ्रेम लाइब्रेरी का। क्यों? क्योंकि पांडास की अक्षमताएं आपको वितरित क्वेरी सिस्टम अपनाने के लिए मजबूर करती हैं इससे पहले कि आपके वर्कलोड अतिरिक्त जटिलता को उचित ठहराते हों। मेरा मानना है कि अधिकांश वर्कलोड कभी भी उन सिस्टम को उचित नहीं ठहराएंगे, वे सिर्फ अच्छी तरह से मार्केट किए गए 'सिल्वर बुलेट' हैं।

यह समझने के लिए कि मैं किस बारे में बात कर रहा हूं, हमें पहले पांडास के विशिष्ट अपनाने के मार्ग को समझना होगा। इसे बाएं से दाएं अनुसरण करते हुए, आप डेटा विश्लेषण टूल के विशिष्ट अपनाने के मार्ग को भी देखते हैं, और वह चट्टान जिसका पांडास उपयोगकर्ता एक निश्चित डेटा आकार से आगे अनुभव करते हैं। लोग आमतौर पर एक्सेल से शुरू करते हैं और GB रेंज में कहीं पांडास पर आ जाते हैं। पांडास उन्हें 10s of GBs रेंज में अच्छी तरह से सेवा देता है, और फिर उन्हें मेमोरी इश्यू, धीमी गणना, या पांडास के जटिल API से निराशा होने लगती है। इस बिंदु पर पारंपरिक उत्तर एक 'असली' (पढ़ें: महंगा) टूल जैसे स्पार्क, डेटाब्रिक्स, स्नोफ्लेक, या डास्क पर स्नातक होना है जो Big Data™ के लिए डिज़ाइन किए गए हैं।

मैं जो विकल्प प्रस्तावित करता हूं, जैसा कि पहले संकेत दिया गया है, वे हैं डकडीबी और पोलार्स। मोटे तौर पर, पोलार्स एक रस्ट-आधारित डेटा फ्रेम लाइब्रेरी है जो पांडास से परिचित लगती है, लेकिन कई महत्वपूर्ण पहलुओं में भिन्न है...