一项新分析发现，美国90%的工作时间所涉及的任务，现有AI基准测试几乎或完全没有覆盖。该研究将美国劳动力市场与一份初步的AI基准测试清单进行对照。美国劳工部的O*NET职业分类法将劳动力划分为923种职业，并归入22个职业族。
结果显示，923种职业中只有208种至少有一项任务被至少五个基准测试提示所覆盖，22个职业族中有六个完全没有此类职业。这使得人们难以判断AI模型在美国人实际从事的工作中表现如何。
基准覆盖情况也因经济权重而不均衡。基准测试大量覆盖了受AI影响较大的律师的任务，但几乎没有涉及同样受影响的法律秘书或法院书记员的任务。研究人员表示，中等收入的小型知识型工作岗位这一“长尾”似乎覆盖不足，这表明AI领域的关注首先集中在最大的劳动力市场。
研究人员使用了29项基准测试，其选择标准包括公开可用性、智能体任务、经济现实性和经济多样性。该分析涵盖了所有职业中的18,797项O*NET任务。研究团队表示，希望扩大对全经济领域模型能力的覆盖，填补人们对AI模型能力认知中的更多空白。
来源: Hacker News · 由HeadlinesBriefing整理摘要