ট্রান্সফরমার-ভিত্তিক LLM জেনারেশনের সময় যেকোনো পূর্ববর্তী টোকেন থেকে তথ্য নিতে পারে, তবে নির্বাচনী হতে হবে। এই প্রক্রিয়াটি জেনারেটেড টোকেনে ট্যাপ বা হোভার করে দেখা যায় যে কোন পূর্ববর্তী টোকেন তাদের প্রভাবিত করেছে।

ভিজ্যুয়ালাইজেশন ভ্যালু ভেক্টর ম্যাগনিটিউড দ্বারা স্কেল করা অ্যাটেনশন ওয়েট গণনা করে, হেড এবং লেয়ার জুড়ে একত্রিত করে, তারপর পূর্ববর্তী টোকেনের অস্বচ্ছতা নিয়ন্ত্রণ করে। সরলীকরণ সত্ত্বেও, আকর্ষণীয় প্যাটার্ন দেখা যায়। উদাহরণস্বরূপ, "Office Move Summary" প্রম্পটে, ঠিকানা এবং তারিখের মতো কপি করা টেক্সট আলাদাভাবে দাঁড়ায় কারণ জেনারেটেড টোকেন উৎস ডেটা থেকে ব্যাপকভাবে নেয়।

এটি একটি ধাঁধার সমাধান করে: যদি LLM সম্ভাব্যতার সাথে টোকেন পূর্বাভাস দেয়, তবে তারা কপি-পেস্টে এত ভালো কেন? প্রক্রিয়াটি দেখায় যে মডেল সীমিত অভ্যন্তরীণ অবস্থা থেকে সম্পূর্ণ সিকোয়েন্স পূর্বাভাস দেয় না; এটি সমস্ত পূর্ববর্তী টোকেন অ্যাক্সেস করে এবং কোনটি থেকে নেবে তা নির্ধারণ করে, ত্রুটির সম্ভাবনা হ্রাস করে।

আরেকটি উদাহরণে, "remain"-এ হোভার করলে দেখা যায় এটি "work" এবং "stay the same" থেকে নেয়, বিভিন্ন বাক্যাংশ থেকে তথ্য একত্রিত করে। ভিজ্যুয়ালাইজেশন Transformers.js সহ একটি React অ্যাপ ব্যবহার করে, তবে অভ্যন্তরীণ মান প্রকাশ করতে .onnx ফাইলটি পরিবর্তন করতে হয়েছিল, এবং তাৎক্ষণিক দেখার জন্য পূর্ব-জেনারেটেড প্রম্পট।