LLM berbasis Transformer dapat menarik informasi dari token sebelumnya selama generasi, tetapi harus selektif. Mekanisme ini dapat divisualisasikan dengan mengetuk atau mengarahkan kursor ke token yang dihasilkan untuk melihat token masa lalu mana yang memengaruhinya.

Visualisasi menghitung bobot perhatian yang diskalakan dengan besaran vektor nilai, diagregasi di seluruh kepala dan lapisan, kemudian mengontrol opasitas token sebelumnya. Meskipun disederhanakan, pola menarik muncul. Misalnya, dalam prompt "Office Move Summary", teks yang disalin seperti alamat dan tanggal menonjol karena token yang dihasilkan banyak menarik dari data sumber.

Ini menjawab teka-teki: jika LLM memprediksi token secara probabilistik, mengapa mereka begitu baik dalam menyalin dan menempel? Mekanisme ini menunjukkan bahwa model tidak memprediksi seluruh urutan dari keadaan internal yang terbatas; ia mengakses semua token masa lalu dan memutuskan dari mana akan menarik, mengurangi probabilitas kesalahan.

Dalam contoh lain, mengarahkan kursor ke "remain" menunjukkan bahwa ia menarik dari "work" dan "stay the same", menggabungkan informasi dari frasa yang berbeda. Visualisasi menggunakan aplikasi React dengan Transformers.js, tetapi memerlukan modifikasi file .onnx untuk mengekspos nilai internal, dan prompt yang telah dibuat sebelumnya untuk tampilan instan.