大規模言語モデルの台頭により、AIが世界をどのように作り変えるのかを予測することは難しくなっており、労働市場はすでに変わり始めています。データサイエンスの職種一覧を挙げるのではなく、本記事ではこの分野で何が変わったのか、なぜ新しい役割が生まれているのか、そして専門家がそれにどう備えるべきかを考察します。
トランスフォーマーの時代以前、データサイエンスは大きく二つに分かれていました。データサイエンティストはプロダクト側に近く、統計学、実験、データ分析、インサイトの抽出に注力し、Pythonと SQL が主要なツールでした。機械学習エンジニアはモデルそのものに近い位置で働き、学習パイプライン、最適化、ニューラルネットワーク、性能、デプロイを担当し、通常は TensorFlow や PyTorch などのライブラリを使用していました。データアナリストやデータエンジニアの役割の境界は、より明確でした。
応用科学者（Applied Scientist）という肩書きは、Amazon や Microsoft などの企業によって広まりました。応用科学者は両者の中間に位置し、新しいモデルやアルゴリズムを実験する一方で、そのコードが本番システム上で確実に動作するよう保証する必要がありました。役割の境界が保たれていたのは、プロトタイピングに数週間にわたる手作業のコーディング、テスト、デバッグが必要で、それを支援するコーディングアシスタントが存在しなかったからです。
状況を一変させたのは、2017年にGoogleが発表した論文「Attention Is All You Need」でした。この論文は、GPTのようなLLMの基盤となるトランスフォーマーアーキテクチャを提示しました。業界がこれに本格的に注目し始めたのは GPT-3 以降ですが、真の転換点となったのは GPT-4 でした。企業がモデルの構築とデプロイの方法を見直し始めたのです。この変化こそが、本記事の後半で取り上げる新しい役割の誕生につながりました。
出典: Towards Data Science · 要約：HeadlinesBriefing