জোসেফ ফুরিয়ের ১৮২২ সালের তাপ ছড়িয়ে পড়া নিয়ে কাজে একটি গাণিতিক হাতিয়ার উপস্থাপিত হয়েছিল: জটিল প্যাটার্নকে সাইন ও কোসাইন ফাংশনের সমন্বয় হিসেবে প্রকাশ করা। প্রায় দুই শতাব্দী পরে, সেই একই ফাংশনগুলো আধুনিক ভাষা মডেলের পেছনের ট্রান্সফরমার স্থাপত্যের ভেতরে দেখা যায়।
দুটি ক্ষেত্র দূরবর্তী মনে হতে পারে। ফুরিয়ে একটি ভৌত বস্তুজুড়ে তাপমাত্রা অধ্যয়ন করেছিলেন, অন্যদিকে ভাষা মডেল একটি ক্রমে সাজানো টোকেন প্রক্রিয়া করে। তবু সাইন ও কোসাইন ফাংশন দুটোকেই একটি কার্যকর কাঠামো দেয়। তারা অবস্থানকে কাঠামোবদ্ধ সংখ্যাগত প্যাটার্নে রূপান্তর করে, যা ট্রান্সফরমার ব্যবহার করে শিখতে পারে শব্দের ক্রম কীভাবে অর্থকে প্রভাবিত করে। তরঙ্গগুলো অবস্থানের তথ্য দেয়, আর প্রশিক্ষণ মডেলকে শেখায় কীভাবে সেটি ব্যবহার করতে হয়।
শব্দের ক্রম এমন তথ্য বহন করে যা শুধু শব্দগুলো দিতে পারে না। একই শব্দের দুটি বাক্যের অর্থ ভিন্ন হতে পারে, কে কাকে কী করছে তার ওপর নির্ভর করে। সফটওয়্যারও একইভাবে কাজ করে: income - expenses এবং expenses - income-এ একই ভেরিয়েবল ও অপারেটর থাকে, তবু ফল ভিন্ন হয়। তাই শব্দগুলো ক্রমবদ্ধ তালিকা হিসেবে এলেও ভাষা মডেলের অবস্থানগত তথ্য প্রয়োজন।
এই নিবন্ধে ব্যাখ্যা করা হয়েছে শব্দের ক্রম কীভাবে এনকোড করা হয়, মনোযোগ প্রক্রিয়া সেই ক্রম কীভাবে বোঝে, এবং সাইন ও কোসাইন ফাংশন কীভাবে অবস্থানের সংকেত দেয়। এতে আরও আছে প্রশিক্ষণ এই অবস্থানের তথ্য কীভাবে ব্যবহার করে, এবং RoPE, একটি ঘূর্ণনশীল পজিশন এমবেডিং পদ্ধতি, কীভাবে কাজ করে।
উৎস: ByteByteGo · সারাংশ: HeadlinesBriefing