LLM на основе Transformer могут извлекать информацию из любого предыдущего токена во время генерации, но должны быть избирательными. Этот механизм можно визуализировать, нажимая или наводя курсор на сгенерированные токены, чтобы увидеть, какие прошлые токены на них повлияли.

Визуализация вычисляет вес внимания, масштабируемый по величине вектора значения, агрегированный по головам и слоям, затем контролирует непрозрачность предыдущих токенов. Несмотря на упрощение, возникают интересные закономерности. Например, в промпте "Office Move Summary" скопированный текст, такой как адреса и даты, выделяется, потому что сгенерированный токен сильно опирается на исходные данные.

Это решает загадку: если LLM предсказывают токены вероятностно, почему они так хороши в копировании и вставке? Механизм показывает, что модель не предсказывает целые последовательности из ограниченных внутренних состояний; она обращается ко всем прошлым токенам и решает, из каких извлекать, снижая вероятность ошибки.

В другом примере наведение на "remain" показывает, что он извлекает из "work" и "stay the same", комбинируя информацию из разных фраз. Визуализация использует приложение React с Transformers.js, но потребовала модификации файла .onnx для раскрытия внутренних значений и предварительно сгенерированных промптов для мгновенного просмотра.