Un nuevo análisis revela que el 90% de las horas laborales en Estados Unidos se dedican a tareas con poca o nula cobertura de las pruebas de referencia existentes de IA. El estudio cruza la fuerza laboral estadounidense, que la taxonomía O*NET del Departamento de Trabajo de EE. UU. divide en 923 ocupaciones agrupadas en 22 familias profesionales, con una lista inicial de pruebas de referencia de IA.
Los resultados muestran que solo 208 de las 923 ocupaciones tienen una tarea cubierta por al menos cinco indicaciones de prueba, y seis de las 22 familias profesionales no tienen ninguna ocupación de este tipo. Esto dificulta evaluar qué tan bien los modelos de IA desempeñan el trabajo que realmente hacen los estadounidenses.
La cobertura también es desigual según el peso económico. Las pruebas de referencia cubren en gran medida las tareas de los abogados expuestos a la IA, pero apenas tocan las de los secretarios jurídicos o los oficiales de tribunal, igualmente expuestos. Los investigadores afirman que la larga cola de empleos de trabajo intelectual más pequeños y de ingresos medios parece estar poco cubierta, lo que sugiere que la comunidad de IA se centra primero en los mercados laborales más grandes.
Los investigadores usaron 29 pruebas de referencia seleccionadas por su disponibilidad pública, sus tareas agénticas, su realismo económico y su diversidad económica. El análisis abarca 18.797 tareas de O*NET en todas las ocupaciones. El equipo espera ampliar la cobertura de las capacidades de los modelos en toda la economía y llenar más vacíos en la comprensión de lo que pueden hacer los modelos de IA.
Fuente: Hacker News · Resumido por HeadlinesBriefing