Une nouvelle analyse révèle que 90 % des heures de travail américaines sont consacrées à des tâches peu ou pas couvertes par les benchmarks d'IA existants. L'étude confronte la main-d'œuvre américaine, que la taxonomie O*NET du département du Travail américain répartit en 923 professions regroupées en 22 familles de métiers, à une liste initiale de benchmarks d'IA.
Les résultats montrent que seules 208 professions sur 923 disposent d'une tâche couverte par au moins cinq invites de test, et que six des 22 familles de métiers n'en comptent aucune. Il est donc difficile d'évaluer la performance réelle des modèles d'IA sur le travail effectivement accompli par les Américains.
La couverture est également inégale selon le poids économique. Les benchmarks couvrent largement les tâches des avocats exposés à l'IA, mais effleurent à peine celles des secrétaires juridiques ou des greffiers, pourtant tout aussi exposés. Les chercheurs estiment que la longue traîne des emplois intellectuels de taille modeste et de revenu intermédiaire semble sous-couverte, ce qui suggère que la communauté de l'IA se concentre d'abord sur les plus grands marchés du travail.
Les chercheurs ont utilisé 29 benchmarks sélectionnés pour leur disponibilité publique, leurs tâches agentiques, leur réalisme économique et leur diversité économique. L'analyse porte sur 18 797 tâches O*NET, toutes professions confondues. L'équipe espère élargir la couverture des capacités des modèles à l'ensemble de l'économie et combler davantage de lacunes dans la compréhension de ce que peuvent faire les modèles d'IA.
Source: Hacker News · Résumé par HeadlinesBriefing