लार्ज लैंग्वेज मॉडल के उदय ने यह अनुमान लगाना कठिन बना दिया है कि AI दुनिया को कैसे नया रूप देगा, और नौकरी बाज़ार पहले से ही बदल रहा है। डेटा साइंस की नौकरियों की सूची देने के बजाय, यह लेख देखता है कि इस क्षेत्र में क्या बदला है, नई भूमिकाएँ क्यों उभर रही हैं, और पेशेवर उनके लिए खुद को कैसे तैयार कर सकते हैं।
ट्रांसफ़ॉर्मर युग से पहले, डेटा साइंस मोटे तौर पर दो हिस्सों में बँटा था। डेटा साइंटिस्ट उत्पाद पक्ष के अधिक करीब होते थे, और सांख्यिकी, प्रयोग, डेटा विश्लेषण और अंतर्दृष्टि निकालने पर ध्यान देते थे, जिसमें Python और SQL मुख्य उपकरण थे। मशीन लर्निंग इंजीनियर मॉडल के अधिक नज़दीक काम करते थे, जिनका काम प्रशिक्षण पाइपलाइन, ऑप्टिमाइज़ेशन, न्यूरल नेटवर्क, प्रदर्शन और डिप्लॉयमेंट संभालना था, आमतौर पर TensorFlow और PyTorch जैसी लाइब्रेरी के साथ। डेटा एनालिस्ट और डेटा इंजीनियरों की सीमाएँ अधिक स्पष्ट थीं।
एप्लाइड साइंटिस्ट का पद, जिसे Amazon और Microsoft जैसी कंपनियों ने लोकप्रिय बनाया, इन दोनों के बीच की भूमिका भरता था। एप्लाइड साइंटिस्ट नए मॉडल और एल्गोरिदम के साथ प्रयोग करते थे, लेकिन यह भी सुनिश्चित करते थे कि उनका कोड प्रोडक्शन सिस्टम में चल सके। भूमिकाओं के बीच की रेखाएँ इसलिए बनी रहीं क्योंकि प्रोटोटाइपिंग में हफ़्तों की मैन्युअल कोडिंग, परीक्षण और डीबगिंग लगती थी, और उस समय मदद के लिए कोडिंग असिस्टेंट नहीं थे।
2017 में Google के पेपर "Attention Is All You Need" से सब कुछ बदल गया, जिसने GPT जैसे LLM की नींव बनी ट्रांसफ़ॉर्मर आर्किटेक्चर पेश किया। इस क्षेत्र में लोगों ने GPT-3 के बाद गंभीरता से ध्यान देना शुरू किया, लेकिन GPT-4 असली मोड़ साबित हुआ, क्योंकि कंपनियों ने मॉडल बनाने और तैनात करने के तरीके पर फिर से सोचना शुरू कर दिया। यही बदलाव उन नई भूमिकाओं के उभरने का कारण बना, जिनकी चर्चा लेख के आगे के हिस्से में की गई है।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित