Uma nova análise revela que 90% das horas de trabalho americanas são gastas em tarefas com pouca ou nenhuma cobertura dos benchmarks de IA existentes. O estudo cruza a força de trabalho dos EUA, que a taxonomia O*NET do Departamento do Trabalho dos EUA divide em 923 ocupações agrupadas em 22 famílias ocupacionais, com uma lista inicial de benchmarks de IA.
Os resultados mostram que apenas 208 das 923 ocupações têm uma tarefa coberta por pelo menos cinco prompts de benchmark, e seis das 22 famílias ocupacionais não têm nenhuma ocupação assim. Isso dificulta avaliar o quão bem os modelos de IA desempenham o trabalho que os americanos realmente fazem.
A cobertura também é desigual conforme o peso econômico. Os benchmarks cobrem fortemente as tarefas de advogados expostos à IA, mas mal tocam as de secretários jurídicos ou escreventes de tribunal, igualmente expostos. Os pesquisadores afirmam que a longa cauda de empregos intelectuais menores e de renda média parece pouco coberta, o que sugere que a comunidade de IA está focando primeiro nos maiores mercados de trabalho.
Os pesquisadores usaram 29 benchmarks selecionados por disponibilidade pública, tarefas agênticas, realismo econômico e diversidade econômica. A análise abrange 18.797 tarefas do O*NET em todas as ocupações. A equipe diz esperar ampliar a cobertura das capacidades dos modelos em toda a economia e preencher mais lacunas na compreensão do que os modelos de IA podem fazer.
Fonte: Hacker News · Resumido por HeadlinesBriefing