Transformer-basierte LLMs können während der Generierung Informationen aus jedem vorherigen Token ziehen, müssen aber selektiv sein. Dieser Mechanismus kann visualisiert werden, indem man auf generierte Tokens tippt oder darüber fährt, um zu sehen, welche vergangenen Tokens sie beeinflusst haben.

Die Visualisierung berechnet das Aufmerksamkeitsgewicht, skaliert mit der Größe des Wertvektors, aggregiert über Köpfe und Schichten, und steuert dann die Opazität früherer Tokens. Trotz Vereinfachung entstehen interessante Muster. Zum Beispiel sticht im "Office Move Summary"-Prompt kopierter Text wie Adressen und Daten hervor, weil das generierte Token stark aus Quelldaten zieht.

Dies beantwortet ein Rätsel: Wenn LLMs Tokens probabilistisch vorhersagen, warum sind sie so gut im Kopieren und Einfügen? Der Mechanismus zeigt, dass das Modell nicht ganze Sequenzen aus begrenzten internen Zuständen vorhersagt; es greift auf alle vergangenen Tokens zu und entscheidet, aus welchen es zieht, wodurch die Fehlerwahrscheinlichkeit reduziert wird.

In einem anderen Beispiel zeigt das Überfahren von "remain", dass es aus "work" und "stay the same" zieht und Informationen aus verschiedenen Phrasen kombiniert. Die Visualisierung verwendet eine React-App mit Transformers.js, erforderte jedoch die Änderung der .onnx-Datei, um interne Werte freizulegen, sowie vorab generierte Prompts für sofortige Anzeige.