Попросите чат-бота назвать случайное число от 1 до 100, и ответ редко окажется равномерно распределённым. Языковые модели снова и снова отдают предпочтение нескольким значениям, и эта привычка имеет реальные последствия, когда выбор модели призван что-то защищать.
В этом анализе вопрос рассматривается с точки зрения безопасности: если модель выбирает число, защищающее секрет, сколько попыток понадобится злоумышленнику? Вместо подсчёта ответов в многочисленных выборочных запусках автор считывает вероятность, которую модель присваивает каждому значению от 1 до 100, непосредственно из логитов. По этим 100 вероятностям анализ вычисляет биты случайности и ожидаемое количество попыток, необходимых для взлома выбора. Базовые модели и их версии, настроенные на инструкции, сравниваются бок о бок, чтобы понять, возникает ли эта привычка на этапе предобучения или после него.
Главный вывод поразителен. При простом текстовом запросе модель с 1,5 миллиарда параметров, настроенная на инструкции, выбирала 47 примерно в три случаях из четырёх. При перефразированном запросе она всё равно выбирает 47 более чем в трети случаев.
Ранее аналогичная закономерность уже документировалась. Одно исследование выборок по шести моделям и семи языкам сообщило о фаворитах, таких как 37, 47 и 73, и связало это смещение с человеческими склонностями. Неформальное сравнение моделей OpenAI 2022 года показало более равномерную базовую модель и настроенную модель с резко выраженным фаворитом. Исследования этапов тонкой настройки также выявили, что обучение с подкреплением на основе человеческой обратной связи заметно снижает разнообразие ответов.
Поскольку открытые контрольные точки теперь позволяют любому повторить это считывание, автор может отследить выбор на каждом этапе постобучения. Для тех, кто полагается на «случайное» значение, сгенерированное моделью, вывод очевиден: предсказуемого фаворита можно быстро взломать.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing