Les LLM basés sur Transformer peuvent extraire des informations de n'importe quel jeton précédent lors de la génération, mais doivent être sélectifs. Ce mécanisme peut être visualisé en touchant ou en survolant les jetons générés pour voir quels jetons passés les ont influencés.

La visualisation calcule le poids d'attention mis à l'échelle par la magnitude du vecteur de valeur, agrégé sur les têtes et les couches, puis contrôle l'opacité des jetons précédents. Malgré la simplification, des modèles intéressants émergent. Par exemple, dans l'invite "Office Move Summary", le texte copié comme les adresses et les dates se démarque car le jeton généré s'appuie fortement sur les données sources.

Cela résout une énigme : si les LLM prédisent les jetons de manière probabiliste, pourquoi sont-ils si bons pour copier-coller ? Le mécanisme montre que le modèle ne prédit pas des séquences entières à partir d'états internes limités ; il accède à tous les jetons passés et décide desquels s'inspirer, réduisant la probabilité d'erreur.

Dans un autre exemple, survoler "remain" montre qu'il s'inspire de "work" et "stay the same", combinant des informations de différentes phrases. La visualisation utilise une application React avec Transformers.js, mais a nécessité de modifier le fichier .onnx pour exposer les valeurs internes, et des invites pré-générées pour une visualisation instantanée.