Transformer একটি নিউরাল নেটওয়ার্ক আর্কিটেকচার যা কৃত্রিম বুদ্ধিমত্তাকে মৌলিকভাবে পরিবর্তন করেছে। 2017 সালের "Attention is All You Need" 논문에서 প্রবর্তিত, এটি OpenAI-এর GPT, Meta-এর Llama এবং Google-এর Gemini-এর মতো মডেলগুলিকে শক্তি দেয়, এবং অডিও জেনারেশন, ইমেজ রিকগনিশন, প্রোটিন স্ট্রাকচার পূর্বাভাস এবং গেম খেলায় প্রয়োগ করা হয়। টেক্সট-জেনারেটিভ Transformer স্ব-মনোযোগ ব্যবহার করে পরবর্তী টোকেন পূর্বাভাস দেয়, দীর্ঘ-পরিসরের নির্ভরতা ধরে রাখে। Transformer Explainer GPT-2 (small) দ্বারা চালিত যার 124 মিলিয়ন প্যারামিটার রয়েছে, এবং অত্যাধুনিক মডেলগুলির সাথে আর্কিটেকচারাল উপাদান শেয়ার করে।

প্রতিটি টেক্সট-জেনারেটিভ Transformer-এ তিনটি মূল উপাদান রয়েছে: Embedding টোকেনগুলিকে সংখ্যাসূচক ভেক্টরে রূপান্তর করে যা শব্দার্থিক অর্থ ধরে রাখে; Transformer Block মনোযোগ প্রক্রিয়া (Attention Mechanism) (টোকেনগুলিকে যোগাযোগ করার অনুমতি দেয়) এবং MLP (প্রতিটি টোকেনের উপস্থাপনা পরিমার্জন করে) সহ ইনপুট ডেটা প্রক্রিয়া ও রূপান্তর করে; Output Probabilities এমবেডিংগুলিকে পরবর্তী-টোকেন সম্ভাবনায় রূপান্তর করে।

Embedding "Data visualization empowers users to" এর মতো একটি প্রম্পটকে সংখ্যাসূচক উপস্থাপনায় রূপান্তর করে। ধাপ: 1) Tokenization টেক্সটকে টোকেনে ভাগ করে (GPT-2-এ 50,257 অনন্য টোকেন রয়েছে); 2) Token Embedding প্রতিটি টোকেনকে 768-মাত্রিক ভেক্টর হিসাবে উপস্থাপন করে; 3) Positional Encoding; 4) Final Embedding। এই ধাপগুলি মডেলকে টেক্সট প্রক্রিয়া ও উৎপন্ন করতে সক্ষম করে।

মূল সত্তা: কোম্পানি: OpenAI, Meta, Google