新たな分析によると、米国の労働時間の90%は、既存のAIベンチマークがほとんどまたは全くカバーしていない業務に費やされています。この研究では、米国労働省のO*NET分類体系が923の職業に分け、22の職種グループにまとめた米国の労働力を、AIベンチマークの初期リストと照合しています。
結果として、923職業のうち少なくとも5つのベンチマークプロンプトでカバーされる業務を持つ職業は208にすぎず、22の職種グループのうち6つにはそのような職業が一つもないことがわかりました。このため、AIモデルがアメリカ人が実際に行っている仕事をどの程度うまくこなせるかを判断することは困難です。
また、カバー状況は経済的重要度によって偏りがあります。ベンチマークはAIの影響を受ける弁護士の業務を多く網羅していますが、同様に影響を受ける法務秘書や裁判所書記官の業務にはほとんど触れていません。研究者らは、中所得層の小規模な知識労働の「ロングテール」が十分にカバーされていないと述べ、AIコミュニティがまず最大の労働市場に注力していることを示唆しています。
研究者らは、公開の入手可能性、エージェント型タスク、経済的現実性、経済的多様性の観点から選ばれた29のベンチマークを使用しました。分析はすべての職業にわたる18,797のO*NETタスクを対象としています。チームは、経済全体にわたるモデル能力のカバー範囲を広げ、AIモデルにできることへの理解のさらなるギャップを埋めたいと考えています。
出典: Hacker News · 要約：HeadlinesBriefing