আবার স্বাগতম! আমাদের অনেকেই এখন জীবন ক্রমশ ব্যস্ত হয়ে উঠলেও নিয়মিত হাঁটা বা ব্যায়ামের জন্য সময় বের করার চেষ্টা করি। লেখক তাঁর দৈনন্দিন রুটিনের অংশ হিসেবে দৌড়ানোকে বেছে নিয়েছিলেন, এবং অনেকের মতো তিনিও অনলাইনে রানিং শু কেনার সিদ্ধান্ত নিলেন। একটি শপিং অ্যাপে "running shoes" খুঁজতে গিয়ে একটি ধাঁধা দেখা দিল: যদিও অনুসন্ধানে কেবল একটি বাক্যাংশ ব্যবহার করা হয়েছিল, পণ্যগুলোকে walking shoes, sports shoes এবং sports sneakers হিসেবেও চিহ্নিত করা হয়েছিল। এতে প্রশ্ন ওঠে যে অ্যাপটি কীভাবে জানে এই শব্দগুলো পরস্পর সম্পর্কিত, আর সেই প্রশ্নই লেখককে ওয়ার্ড এমবেডিংয়ের ধারণার কাছে নিয়ে যায়।
শপিং অ্যাপের বাইরেও এমবেডিং অনেক গুরুত্বপূর্ণ। লার্জ ল্যাঙ্গুয়েজ মডেল প্রম্পট প্রক্রিয়াকরণে এগুলো ব্যবহার করে, এবং যেসব এআই অ্যাসিস্ট্যান্ট উত্তর দেওয়ার জন্য ওয়েব থেকে তথ্য সংগ্রহ করে, অর্থাৎ Retrieval-Augmented Generation (RAG) নামের পদ্ধতি, তারাও এর ওপর নির্ভর করে। আধুনিক সার্চ সিস্টেম প্রায়ই কীওয়ার্ড মিল, এমবেডিং এবং র্যাঙ্কিং মডেলকে একত্র করে, কিন্তু সিম্যান্টিক সম্পর্ক চিহ্নিত করা এবং হুবহু শব্দ মিলের বদলে অর্থের ভিত্তিতে তথ্য খুঁজে বের করার ক্ষেত্রে এমবেডিং কেন্দ্রীয় ভূমিকা রাখে।
এমবেডিং হলো কোনো কিছুর সংখ্যাভিত্তিক উপস্থাপনা, এবং ওয়ার্ড এমবেডিংয়ে প্রতিটি শব্দ সংখ্যার একটি ভেক্টর হিসেবে প্রকাশ করা হয়। এটি TF-IDF থেকে আলাদা, যা একটি পরিসংখ্যানভিত্তিক পদ্ধতি এবং কোনো ডকুমেন্টে শব্দটি কতবার আসে এবং পুরো সংগ্রহে তা কতটা সাধারণ তার ভিত্তিতে শব্দকে ওজন দেয়। অন্যদিকে, ওয়ার্ড এমবেডিং প্রতিটি শব্দের জন্য একটি ভেক্টর শেখে, সেটি অন্য শব্দের সঙ্গে কীভাবে ব্যবহৃত হয় তার ভিত্তিতে, ফলে সম্পর্কগুলো ডেটা থেকেই শেখা হয়।
পরের প্রশ্ন হলো শেখা ভেক্টর উপস্থাপনার অর্থ কী এবং এই শেখা কীভাবে ঘটে। একটি অনলাইন শপিং সার্চ সিস্টেমকে সরল উদাহরণ হিসেবে নিলে ধারণাটি আরও স্পষ্ট হয়: একই ধরনের প্রেক্ষাপটে ব্যবহৃত শব্দগুলো একই রকম ভেক্টর পায়, যা একটি সিস্টেমকে হুবহু মিল না থাকলেও "running shoes"-কে "sports shoes"-এর সঙ্গে যুক্ত করতে দেয়।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing