Суждение — это то, что отличает старших профессионалов от их младших коллег. Формирование суждения требует тысяч часов обучения на рабочем месте, обычно через утомительное, но формирующее участие в рутинной работе под руководством опытных наставников. Но ИИ уже меняет то, как работает обучение на рабочем месте. С одной стороны, эмпирические исследования показывают, что когда инструменты ИИ продуманно встраиваются в учебные процессы, менее опытные работники могут улучшить свою самостоятельную работу. С другой стороны, недавние эксперименты демонстрируют, что, хотя ИИ служит временным экзоскелетом, повышающим немедленную производительность, эти gains часто не сохраняются после удаления инструмента.
В статье «Улучшает или подрывает помощь ИИ экспертизу? Данные трехмесячного полевого эксперимента по составлению патентов», опубликованной Национальным бюро экономических исследований, мы описываем полевой эксперимент, фиксирующий изменения в краткосрочной производительности и долгосрочном развитии навыков в результате использования ИИ в праве интеллектуальной собственности. Мы случайным образом распределили доступ к тогда еще не выпущенному инструменту-помощнику по написанию патентов на основе ИИ от Google Labs среди 133 юристов в одиннадцати фирмах по интеллектуальной собственности. Две трети юристов в каждой фирме (группа «лечения») получили ранний доступ к инструменту, в то время как остальные (группа «контроля») были лишены возможности использовать его до окончания исследования.
Через 10 дней помощи ИИ мы отправили всем юристам пакет материалов изобретателя для гипотетического изобретения и попросили их составить патент. Мы сделали то же самое через 90 дней. Доступ к инструменту ИИ повысил баллы за составление на 0,34 стандартного отклонения через 10 дней, что эквивалентно повышению на 10 пунктов в процентильном рейтинге среди баллов контрольной группы; через 90 дней это улучшение увеличилось до 0,38 СО, что подразумевает повышение на 11 процентильных пунктов. Лучшая производительность была достигнута за счет меньшей частоты низких баллов и большей частоты хороших баллов, без изменения частоты отличных баллов. Эта закономерность была особенно заметна для младших юристов, чьи улучшения сопровождались значительной экономией времени.
Но патентные юристы также проверяют работу друг друга на предмет критических ошибок, которые могут сделать патенты неисполнимыми в суде. Мы добавили еще одно задание через 90 дней, требующее от испытуемых вычитать (вручную отметить и исправить) существующий гипотетический патент, содержащий множество ошибок. Это задание отражает тот тип профессионального суждения, которое ожидается от более старших работников, проверяя, улучшает или подрывает помощь ИИ более глубокую экспертизу.
Источник: Google AI Blog · Сводку подготовил HeadlinesBriefing