Новый анализ показывает, что 90% рабочих часов американцев уходит на задачи, которые существующие ИИ-бенчмарки почти не покрывают или не покрывают вовсе. В исследовании рабочая сила США, которую таксономия O*NET Министерства труда США делит на 923 профессии, объединённые в 22 профессиональные группы, сопоставлена с первоначальным списком ИИ-бенчмарков.
Результаты показывают, что лишь у 208 из 923 профессий есть задача, покрытая как минимум пятью тестовыми запросами, а в шести из 22 профессиональных групп таких профессий нет вообще. Поэтому трудно судить о том, насколько хорошо ИИ-модели справляются с работой, которую на самом деле выполняют американцы.
Охват также неравномерен в зависимости от экономического веса. Бенчмарки широко покрывают задачи юристов, подверженных влиянию ИИ, но почти не затрагивают задачи юридических секретарей или судебных клерков, которые подвержены ему в такой же степени. По мнению исследователей, «длинный хвост» небольших интеллектуальных профессий со средним доходом покрыт слабо, что говорит о том, что ИИ-сообщество в первую очередь фокусируется на самых крупных рынках труда.
Исследователи использовали 29 бенчмарков, отобранных по критериям публичной доступности, агентных задач, экономического реализма и экономического разнообразия. Анализ охватывает 18 797 задач O*NET по всем профессиям. Команда надеется расширить охват возможностей моделей на всю экономику и восполнить больше пробелов в понимании того, что способны делать ИИ-модели.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing