Статья 2023 года Berglund и коллег [1] утверждает, что языковые модели не получают симметричное запоминание фактов бесплатно. Ее вводный пример: человек, узнавший, что Валентина Терешкова была первой женщиной, совершившей полет в космос, также может ответить «Кто была первой женщиной, совершившей полет в космос?» Это кажется тривиальным. Но модель, обученная на первом предложении, где имя предшествует описанию, может научиться отвечать «Кто была Валентина Терешкова?» и все равно терпеть неудачу, когда описание идет первым. Авторы называют это Проклятием обращения.
Их доказательства получены из двух источников. Они донастроили GPT-3 и Llama-1 на вымышленных фактах и обнаружили, что точность была почти нулевой всякий раз, когда вопрос задавался в порядке, обратном обучающим предложениям. И они протестировали GPT-4 на реальных знаменитостях: он называл родителя знаменитости примерно в 79% случаев, но называл знаменитость, когда ему давали родителя, только примерно в 33% случаев (классическая пара — «Кто мать Тома Круза?» против «Кто сын Мэри Ли Пфайффер?»).
Авторы также отмечают, что неудача не является недостатком логики: если в подсказке есть «A — это B», GPT-4 может отлично вывести «B — это A». Проблема возникает, когда факт был изучен во время обучения и впоследствии должен быть вспомнен с другой стороны. Именно это делает его удивительным, и именно это позволяет нам напрямую увидеть игрушечная модель ниже.
Ключевые сущности: Компании: Towards Data Science | Люди: Berglund, Валентина Терешкова, Том Круз, Мэри Ли Пфайффер
Часто задаваемый вопрос: Что такое Проклятие обращения?
Проклятие обращения — это явление, при котором языковая модель может вспомнить факт в том направлении, в котором она его выучила, но терпит неудачу, когда ее спрашивают в обратном направлении, хотя два утверждения логически симметричны.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing