90% of US working hours are spent on tasks not covered well by AI benchmarks

A new analysis finds that 90% of American working hours are spent on tasks with little or no coverage from existing AI benchmarks. The study maps the US labor force, which the US Department of Labor's O*NET taxonomy divides into 923 occupations grouped into 22 job families, against an initial list of AI benchmarks.

The results show that only 208 of 923 occupations have a task covered by at least five benchmark prompts, and six of the 22 job families have no such occupations. This makes it difficult to judge how well AI models perform the work Americans actually do.

Coverage is also uneven by economic weight. Benchmarks heavily cover tasks of AI-exposed lawyers, but barely touch those of similarly exposed legal secretaries or court clerks. The researchers say the long tail of smaller, middle-income knowledge work jobs appears undercovered, suggesting the AI community is focusing first on the largest labor markets.

The researchers used 29 benchmarks selected for public availability, agentic tasks, economic realism and economic diversity. The analysis covers 18,797 O*NET tasks across all occupations. The team says it hopes to expand coverage of model capabilities across the economy and fill more gaps in understanding what AI models can do.

يكشف تحليل جديد أن 90% من ساعات العمل الأمريكية تُنفق على مهام تغطيها معايير الذكاء الاصطناعي الحالية بشكل ضئيل أو لا تغطيها إطلاقاً. تقارن الدراسة القوى العاملة الأمريكية، التي يقسمها تصنيف O*NET التابع لوزارة العمل الأمريكية إلى 923 مهنة مجمعة في 22 فئة مهنية، بقائمة أولية من معايير الذكاء الاصطناعي.

تُظهر النتائج أن 208 مهنة فقط من أصل 923 لديها مهمة مغطاة بخمس مطالبات معيارية على الأقل، وأن ست فئات مهنية من أصل 22 لا تضم أي مهنة من هذا النوع. وهذا يجعل من الصعب الحكم على مدى جودة أداء نماذج الذكاء الاصطناعي للعمل الذي يقوم به الأمريكيون فعلاً.

التغطية غير متساوية أيضاً بحسب الوزن الاقتصادي. فالمعايير تغطي بكثافة مهام المحامين المعرضين للذكاء الاصطناعي، لكنها بالكاد تمس مهام السكرتيرات القانونيين أو كتبة المحاكم المعرضين بالقدر نفسه. ويقول الباحثون إن الذيل الطويل من وظائف المعرفة الأصغر والمتوسطة الدخل يبدو غير مغطى بالقدر الكافي، ما يشير إلى أن مجتمع الذكاء الاصطناعي يركز أولاً على أكبر أسواق العمل.

استخدم الباحثون 29 معياراً اختيرت وفق الإتاحة العامة، والمهام الوكيلية، والواقعية الاقتصادية، والتنوع الاقتصادي. يغطي التحليل 18,797 مهمة من مهام O*NET عبر جميع المهن. ويقول الفريق إنه يأمل في توسيع تغطية قدرات النماذج عبر الاقتصاد وسد المزيد من الفجوات في فهم ما يمكن أن تفعله نماذج الذكاء الاصطناعي.

একটি নতুন বিশ্লেষণে দেখা গেছে, মার্কিন কর্মঘণ্টার ৯০% এমন কাজে ব্যয় হয় যেগুলো বিদ্যমান এআই বেঞ্চমার্ক খুব কম বা একেবারেই কভার করে না। এই গবেষণায় মার্কিন শ্রমশক্তিকে একটি প্রাথমিক এআই বেঞ্চমার্ক তালিকার সঙ্গে মেলানো হয়েছে। মার্কিন শ্রম বিভাগের O*NET শ্রেণিবিন্যাস এই শ্রমশক্তিকে ৯২৩টি পেশায় ভাগ করে, যেগুলো ২২টি পেশা পরিবারে সাজানো।

ফলাফল দেখায়, ৯২৩টি পেশার মধ্যে মাত্র ২০৮টিতে এমন একটি কাজ রয়েছে যা অন্তত পাঁচটি বেঞ্চমার্ক প্রম্পট দ্বারা কভার হয়, এবং ২২টি পেশা পরিবারের মধ্যে ছয়টিতে এমন কোনো পেশা নেই। ফলে মার্কিন মানুষ আসলে যে কাজ করে সেখানে এআই মডেল কতটা ভালো করছে, তা বিচার করা কঠিন।

অর্থনৈতিক গুরুত্ব অনুযায়ী কভারেজও অসম। এআই-প্রভাবিত আইনজীবীদের কাজ বেঞ্চমার্কে ব্যাপকভাবে কভার হয়, কিন্তু সমানভাবে প্রভাবিত আইনি সচিব বা আদালতের কেরানিদের কাজ প্রায় স্পর্শই করে না। গবেষকদের মতে, মাঝারি আয়ের ছোট ছোট জ্ঞানভিত্তিক পেশার “লং টেইল” কম কভার হয়েছে, যা ইঙ্গিত দেয় এআই সম্প্রদায় আগে সবচেয়ে বড় শ্রমবাজারগুলোর দিকে মনোযোগ দিচ্ছে।

গবেষকরা সার্বজনীন প্রাপ্যতা, এজেন্টিক কাজ, অর্থনৈতিক বাস্তবতা এবং অর্থনৈতিক বৈচিত্র্যের ভিত্তিতে নির্বাচিত ২৯টি বেঞ্চমার্ক ব্যবহার করেছেন। বিশ্লেষণে সব পেশার ১৮,৭৯৭টি O*NET কাজ অন্তর্ভুক্ত। দলটি আশা করছে, সমগ্র অর্থনীতি জুড়ে মডেলের সক্ষমতার কভারেজ বাড়াতে এবং এআই মডেল কী করতে পারে সে সম্পর্কে বোঝার আরও ফাঁক পূরণ করতে।

Eine neue Analyse zeigt, dass 90 % der US-Arbeitsstunden für Aufgaben aufgewendet werden, die von bestehenden KI-Benchmarks kaum oder gar nicht abgedeckt sind. Die Studie gleicht die US-Erwerbsbevölkerung, die die O*NET-Klassifikation des US-Arbeitsministeriums in 923 Berufe unterteilt und in 22 Berufsfamilien gruppiert, mit einer ersten Liste von KI-Benchmarks ab.

Die Ergebnisse zeigen, dass nur 208 der 923 Berufe eine Aufgabe haben, die von mindestens fünf Benchmark-Prompts abgedeckt wird, und dass sechs der 22 Berufsfamilien überhaupt keine solchen Berufe aufweisen. Dadurch ist schwer zu beurteilen, wie gut KI-Modelle die Arbeit leisten, die Amerikaner tatsächlich verrichten.

Die Abdeckung ist zudem ungleichmäßig verteilt, je nach wirtschaftlichem Gewicht. Benchmarks decken die Aufgaben KI-exponierter Anwälte stark ab, berühren aber kaum die Aufgaben ähnlich exponierter Rechtssekretärinnen oder Gerichtsschreiber. Die Forscher meinen, dass der lange Schwanz kleinerer, einkommensmittlerer Wissensberufe unterrepräsentiert sei, was darauf hindeutet, dass sich die KI-Community zuerst auf die größten Arbeitsmärkte konzentriert.

Die Forscher verwendeten 29 Benchmarks, ausgewählt nach öffentlicher Verfügbarkeit, agentischen Aufgaben, wirtschaftlichem Realismus und wirtschaftlicher Vielfalt. Die Analyse umfasst 18.797 O*NET-Aufgaben über alle Berufe hinweg. Das Team hofft, die Abdeckung von Modellfähigkeiten in der gesamten Wirtschaft auszuweiten und mehr Lücken im Verständnis dessen zu schließen, was KI-Modelle leisten können.

Un nuevo análisis revela que el 90% de las horas laborales en Estados Unidos se dedican a tareas con poca o nula cobertura de las pruebas de referencia existentes de IA. El estudio cruza la fuerza laboral estadounidense, que la taxonomía O*NET del Departamento de Trabajo de EE. UU. divide en 923 ocupaciones agrupadas en 22 familias profesionales, con una lista inicial de pruebas de referencia de IA.

Los resultados muestran que solo 208 de las 923 ocupaciones tienen una tarea cubierta por al menos cinco indicaciones de prueba, y seis de las 22 familias profesionales no tienen ninguna ocupación de este tipo. Esto dificulta evaluar qué tan bien los modelos de IA desempeñan el trabajo que realmente hacen los estadounidenses.

La cobertura también es desigual según el peso económico. Las pruebas de referencia cubren en gran medida las tareas de los abogados expuestos a la IA, pero apenas tocan las de los secretarios jurídicos o los oficiales de tribunal, igualmente expuestos. Los investigadores afirman que la larga cola de empleos de trabajo intelectual más pequeños y de ingresos medios parece estar poco cubierta, lo que sugiere que la comunidad de IA se centra primero en los mercados laborales más grandes.

Los investigadores usaron 29 pruebas de referencia seleccionadas por su disponibilidad pública, sus tareas agénticas, su realismo económico y su diversidad económica. El análisis abarca 18.797 tareas de O*NET en todas las ocupaciones. El equipo espera ampliar la cobertura de las capacidades de los modelos en toda la economía y llenar más vacíos en la comprensión de lo que pueden hacer los modelos de IA.

Une nouvelle analyse révèle que 90 % des heures de travail américaines sont consacrées à des tâches peu ou pas couvertes par les benchmarks d'IA existants. L'étude confronte la main-d'œuvre américaine, que la taxonomie O*NET du département du Travail américain répartit en 923 professions regroupées en 22 familles de métiers, à une liste initiale de benchmarks d'IA.

Les résultats montrent que seules 208 professions sur 923 disposent d'une tâche couverte par au moins cinq invites de test, et que six des 22 familles de métiers n'en comptent aucune. Il est donc difficile d'évaluer la performance réelle des modèles d'IA sur le travail effectivement accompli par les Américains.

La couverture est également inégale selon le poids économique. Les benchmarks couvrent largement les tâches des avocats exposés à l'IA, mais effleurent à peine celles des secrétaires juridiques ou des greffiers, pourtant tout aussi exposés. Les chercheurs estiment que la longue traîne des emplois intellectuels de taille modeste et de revenu intermédiaire semble sous-couverte, ce qui suggère que la communauté de l'IA se concentre d'abord sur les plus grands marchés du travail.

Les chercheurs ont utilisé 29 benchmarks sélectionnés pour leur disponibilité publique, leurs tâches agentiques, leur réalisme économique et leur diversité économique. L'analyse porte sur 18 797 tâches O*NET, toutes professions confondues. L'équipe espère élargir la couverture des capacités des modèles à l'ensemble de l'économie et combler davantage de lacunes dans la compréhension de ce que peuvent faire les modèles d'IA.

एक नए विश्लेषण से पता चला है कि अमेरिकी कार्य घंटों का 90% ऐसे कार्यों में खर्च होता है जिन्हें मौजूदा AI बेंचमार्क बहुत कम या बिल्कुल कवर नहीं करते। यह अध्ययन अमेरिकी श्रम शक्ति को AI बेंचमार्क की एक प्रारंभिक सूची के साथ मिलाकर देखता है। अमेरिकी श्रम विभाग की O*NET वर्गीकरण प्रणाली इस श्रम शक्ति को 22 कार्य-परिवारों में समूहित 923 व्यवसायों में बाँटती है।

परिणाम दिखाते हैं कि 923 व्यवसायों में से केवल 208 में ऐसा कार्य है जिसे कम से कम पाँच बेंचमार्क प्रॉम्प्ट कवर करते हैं, और 22 कार्य-परिवारों में से छह में ऐसा कोई व्यवसाय नहीं है। इससे यह आँकना कठिन हो जाता है कि AI मॉडल वास्तव में अमेरिकी लोगों द्वारा किए जाने वाले कार्यों को कितनी अच्छी तरह करते हैं।

आर्थिक महत्व के अनुसार भी कवरेज असमान है। बेंचमार्क AI से प्रभावित वकीलों के कार्यों को भारी मात्रा में कवर करते हैं, लेकिन उतने ही प्रभावित कानूनी सचिवों या अदालती क्लर्कों के कार्यों को लगभग नहीं छूते। शोधकर्ताओं का कहना है कि मध्यम आय वाले छोटे ज्ञान-आधारित कार्यों का “लॉन्ग टेल” कम कवर हुआ लगता है, जो बताता है कि AI समुदाय पहले सबसे बड़े श्रम बाज़ारों पर ध्यान दे रहा है।

शोधकर्ताओं ने 29 बेंचमार्क का उपयोग किया, जिन्हें सार्वजनिक उपलब्धता, एजेंटिक कार्यों, आर्थिक यथार्थवाद और आर्थिक विविधता के आधार पर चुना गया था। विश्लेषण में सभी व्यवसायों के 18,797 O*NET कार्य शामिल हैं। टीम का कहना है कि वह पूरी अर्थव्यवस्था में मॉडल क्षमताओं का कवरेज बढ़ाना और यह समझने के और अंतर भरना चाहती है कि AI मॉडल क्या कर सकते हैं।

Analisis baru menemukan bahwa 90% jam kerja warga Amerika dihabiskan untuk tugas yang sedikit atau tidak tercakup oleh tolok ukur AI yang ada. Studi ini memetakan angkatan kerja AS, yang oleh taksonomi O*NET Departemen Tenaga Kerja AS dibagi menjadi 923 jabatan yang dikelompokkan dalam 22 keluarga pekerjaan, terhadap daftar awal tolok ukur AI.

Hasilnya menunjukkan bahwa hanya 208 dari 923 jabatan yang memiliki tugas yang dicakup setidaknya oleh lima prompt tolok ukur, dan enam dari 22 keluarga pekerjaan tidak memiliki jabatan seperti itu sama sekali. Hal ini menyulitkan untuk menilai seberapa baik model AI melakukan pekerjaan yang sebenarnya dilakukan warga Amerika.

Cakupan juga tidak merata berdasarkan bobot ekonomi. Tolok ukur sangat mencakup tugas pengacara yang terpapar AI, tetapi hampir tidak menyentuh tugas sekretaris hukum atau panitera pengadilan yang sama-sama terpapar. Para peneliti mengatakan bahwa ekor panjang pekerjaan pengetahuan berpenghasilan menengah dan berskala kecil tampaknya kurang tercakup, yang menunjukkan bahwa komunitas AI berfokus lebih dulu pada pasar tenaga kerja terbesar.

Para peneliti menggunakan 29 tolok ukur yang dipilih berdasarkan ketersediaan publik, tugas agentik, realisme ekonomi, dan keragaman ekonomi. Analisis ini mencakup 18.797 tugas O*NET di seluruh jabatan. Tim berharap dapat memperluas cakupan kemampuan model di seluruh perekonomian dan mengisi lebih banyak celah dalam pemahaman tentang apa yang dapat dilakukan model AI.

新たな分析によると、米国の労働時間の90%は、既存のAIベンチマークがほとんどまたは全くカバーしていない業務に費やされています。この研究では、米国労働省のO*NET分類体系が923の職業に分け、22の職種グループにまとめた米国の労働力を、AIベンチマークの初期リストと照合しています。

結果として、923職業のうち少なくとも5つのベンチマークプロンプトでカバーされる業務を持つ職業は208にすぎず、22の職種グループのうち6つにはそのような職業が一つもないことがわかりました。このため、AIモデルがアメリカ人が実際に行っている仕事をどの程度うまくこなせるかを判断することは困難です。

また、カバー状況は経済的重要度によって偏りがあります。ベンチマークはAIの影響を受ける弁護士の業務を多く網羅していますが、同様に影響を受ける法務秘書や裁判所書記官の業務にはほとんど触れていません。研究者らは、中所得層の小規模な知識労働の「ロングテール」が十分にカバーされていないと述べ、AIコミュニティがまず最大の労働市場に注力していることを示唆しています。

研究者らは、公開の入手可能性、エージェント型タスク、経済的現実性、経済的多様性の観点から選ばれた29のベンチマークを使用しました。分析はすべての職業にわたる18,797のO*NETタスクを対象としています。チームは、経済全体にわたるモデル能力のカバー範囲を広げ、AIモデルにできることへの理解のさらなるギャップを埋めたいと考えています。

Uma nova análise revela que 90% das horas de trabalho americanas são gastas em tarefas com pouca ou nenhuma cobertura dos benchmarks de IA existentes. O estudo cruza a força de trabalho dos EUA, que a taxonomia O*NET do Departamento do Trabalho dos EUA divide em 923 ocupações agrupadas em 22 famílias ocupacionais, com uma lista inicial de benchmarks de IA.

Os resultados mostram que apenas 208 das 923 ocupações têm uma tarefa coberta por pelo menos cinco prompts de benchmark, e seis das 22 famílias ocupacionais não têm nenhuma ocupação assim. Isso dificulta avaliar o quão bem os modelos de IA desempenham o trabalho que os americanos realmente fazem.

A cobertura também é desigual conforme o peso econômico. Os benchmarks cobrem fortemente as tarefas de advogados expostos à IA, mas mal tocam as de secretários jurídicos ou escreventes de tribunal, igualmente expostos. Os pesquisadores afirmam que a longa cauda de empregos intelectuais menores e de renda média parece pouco coberta, o que sugere que a comunidade de IA está focando primeiro nos maiores mercados de trabalho.

Os pesquisadores usaram 29 benchmarks selecionados por disponibilidade pública, tarefas agênticas, realismo econômico e diversidade econômica. A análise abrange 18.797 tarefas do O*NET em todas as ocupações. A equipe diz esperar ampliar a cobertura das capacidades dos modelos em toda a economia e preencher mais lacunas na compreensão do que os modelos de IA podem fazer.

Новый анализ показывает, что 90% рабочих часов американцев уходит на задачи, которые существующие ИИ-бенчмарки почти не покрывают или не покрывают вовсе. В исследовании рабочая сила США, которую таксономия O*NET Министерства труда США делит на 923 профессии, объединённые в 22 профессиональные группы, сопоставлена с первоначальным списком ИИ-бенчмарков.

Результаты показывают, что лишь у 208 из 923 профессий есть задача, покрытая как минимум пятью тестовыми запросами, а в шести из 22 профессиональных групп таких профессий нет вообще. Поэтому трудно судить о том, насколько хорошо ИИ-модели справляются с работой, которую на самом деле выполняют американцы.

Охват также неравномерен в зависимости от экономического веса. Бенчмарки широко покрывают задачи юристов, подверженных влиянию ИИ, но почти не затрагивают задачи юридических секретарей или судебных клерков, которые подвержены ему в такой же степени. По мнению исследователей, «длинный хвост» небольших интеллектуальных профессий со средним доходом покрыт слабо, что говорит о том, что ИИ-сообщество в первую очередь фокусируется на самых крупных рынках труда.

Исследователи использовали 29 бенчмарков, отобранных по критериям публичной доступности, агентных задач, экономического реализма и экономического разнообразия. Анализ охватывает 18 797 задач O*NET по всем профессиям. Команда надеется расширить охват возможностей моделей на всю экономику и восполнить больше пробелов в понимании того, что способны делать ИИ-модели.

一项新分析发现，美国90%的工作时间所涉及的任务，现有AI基准测试几乎或完全没有覆盖。该研究将美国劳动力市场与一份初步的AI基准测试清单进行对照。美国劳工部的O*NET职业分类法将劳动力划分为923种职业，并归入22个职业族。

结果显示，923种职业中只有208种至少有一项任务被至少五个基准测试提示所覆盖，22个职业族中有六个完全没有此类职业。这使得人们难以判断AI模型在美国人实际从事的工作中表现如何。

基准覆盖情况也因经济权重而不均衡。基准测试大量覆盖了受AI影响较大的律师的任务，但几乎没有涉及同样受影响的法律秘书或法院书记员的任务。研究人员表示，中等收入的小型知识型工作岗位这一“长尾”似乎覆盖不足，这表明AI领域的关注首先集中在最大的劳动力市场。

研究人员使用了29项基准测试，其选择标准包括公开可用性、智能体任务、经济现实性和经济多样性。该分析涵盖了所有职业中的18,797项O*NET任务。研究团队表示，希望扩大对全经济领域模型能力的覆盖，填补人们对AI模型能力认知中的更多空白。