Eine neue Analyse zeigt, dass 90 % der US-Arbeitsstunden für Aufgaben aufgewendet werden, die von bestehenden KI-Benchmarks kaum oder gar nicht abgedeckt sind. Die Studie gleicht die US-Erwerbsbevölkerung, die die O*NET-Klassifikation des US-Arbeitsministeriums in 923 Berufe unterteilt und in 22 Berufsfamilien gruppiert, mit einer ersten Liste von KI-Benchmarks ab.
Die Ergebnisse zeigen, dass nur 208 der 923 Berufe eine Aufgabe haben, die von mindestens fünf Benchmark-Prompts abgedeckt wird, und dass sechs der 22 Berufsfamilien überhaupt keine solchen Berufe aufweisen. Dadurch ist schwer zu beurteilen, wie gut KI-Modelle die Arbeit leisten, die Amerikaner tatsächlich verrichten.
Die Abdeckung ist zudem ungleichmäßig verteilt, je nach wirtschaftlichem Gewicht. Benchmarks decken die Aufgaben KI-exponierter Anwälte stark ab, berühren aber kaum die Aufgaben ähnlich exponierter Rechtssekretärinnen oder Gerichtsschreiber. Die Forscher meinen, dass der lange Schwanz kleinerer, einkommensmittlerer Wissensberufe unterrepräsentiert sei, was darauf hindeutet, dass sich die KI-Community zuerst auf die größten Arbeitsmärkte konzentriert.
Die Forscher verwendeten 29 Benchmarks, ausgewählt nach öffentlicher Verfügbarkeit, agentischen Aufgaben, wirtschaftlichem Realismus und wirtschaftlicher Vielfalt. Die Analyse umfasst 18.797 O*NET-Aufgaben über alle Berufe hinweg. Das Team hofft, die Abdeckung von Modellfähigkeiten in der gesamten Wirtschaft auszuweiten und mehr Lücken im Verständnis dessen zu schließen, was KI-Modelle leisten können.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing