Un article de 2023 de Berglund et ses collègues [1] soutient que les modèles de langage n'obtiennent pas un rappel symétrique des faits gratuitement. Son exemple d'ouverture : une personne qui apprend que Valentina Tereshkova a été la première femme à voyager dans l'espace peut aussi répondre « Qui a été la première femme à voyager dans l'espace ? » Cela semble trivial. Mais un modèle entraîné sur la première phrase, où le nom précède la description, peut apprendre à répondre « Qui était Valentina Tereshkova ? » et échouer encore lorsque la description vient en premier. Les auteurs appellent cela la Malédiction de l'Inversion.
Leurs preuves proviennent de deux endroits. Ils ont affiné GPT-3 et Llama-1 sur des faits inventés et ont constaté que la précision était presque nulle chaque fois que la question venait dans l'ordre opposé aux phrases d'entraînement. Et ils ont testé GPT-4 sur des célébrités réelles : il a nommé le parent d'une célébrité environ 79% du temps, mais a nommé la célébrité lorsqu'on lui donnait le parent seulement environ 33% du temps (la paire classique est « Qui est la mère de Tom Cruise ? » versus « Qui est le fils de Mary Lee Pfeiffer ? »).
Les auteurs soulignent également que l'échec n'est pas un manque de logique : si « A est B » est dans l'invite, GPT-4 peut en déduire « B est A » très bien. Le problème apparaît lorsque le fait a été appris pendant l'entraînement et doit être rappelé plus tard depuis l'autre côté. C'est ce qui le rend surprenant, et c'est ce que le modèle jouet ci-dessous nous permet de voir directement.
Entités clés : Entreprises : Towards Data Science | Personnes : Berglund, Valentina Tereshkova, Tom Cruise, Mary Lee Pfeiffer
Question fréquente : Qu'est-ce que la Malédiction de l'Inversion ?
La Malédiction de l'Inversion est un phénomène où un modèle de langage peut se souvenir d'un fait dans la direction où il l'a appris mais échoue lorsqu'on lui demande l'inverse, même si les deux affirmations sont logiquement symétriques.
Source: Towards Data Science · Résumé par HeadlinesBriefing