A ascensão dos grandes modelos de linguagem tornou difícil prever como a IA remodelará o mundo, e o mercado de trabalho já está mudando. Em vez de listar títulos de cargos em ciência de dados, este artigo analisa o que mudou na área, por que surgem novos papéis e como os profissionais podem se preparar para eles.
Antes da era dos transformers, a ciência de dados estava basicamente dividida em duas. Os cientistas de dados ficavam mais próximos do lado do produto, focados em estatística, experimentação, análise de dados e extração de insights, com Python e SQL como ferramentas principais. Os engenheiros de machine learning trabalhavam mais perto do próprio modelo, cuidando de pipelines de treinamento, otimização, redes neurais, desempenho e implantação, normalmente com bibliotecas como TensorFlow e PyTorch. Analistas de dados e engenheiros de dados tinham limites mais claros.
O título de cientista aplicado, popularizado por empresas como Amazon e Microsoft, ocupava um meio-termo. Os cientistas aplicados experimentavam novos modelos e algoritmos, mas também precisavam garantir que seu código pudesse funcionar dentro de um sistema de produção. As fronteiras entre os papéis se mantinham porque a prototipagem exigia semanas de codificação, testes e depuração manuais, sem assistentes de programação para ajudar.
Tudo mudou com o artigo do Google de 2017, "Attention Is All You Need", que introduziu a arquitetura transformer na qual se baseiam LLMs como o GPT. A área passou a prestar atenção séria após o GPT-3, mas o GPT-4 foi o verdadeiro divisor de águas, pois as empresas começaram a repensar como os modelos são construídos e implantados. Essa mudança é o que deu origem aos novos papéis examinados no restante do artigo.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing