वापसी पर स्वागत है! हममें से कई लोग अब अपनी व्यस्त ज़िंदगी के बावजूद नियमित रूप से टहलने या व्यायाम करने का समय निकालने की कोशिश करते हैं। लेखक ने दौड़ना अपनी दैनिक दिनचर्या का हिस्सा बनाने का फैसला किया, और कई लोगों की तरह उन्होंने ऑनलाइन रनिंग शूज़ खरीदने का विकल्प चुना। एक शॉपिंग ऐप में "running shoes" खोजने पर एक पहेली सामने आई: खोज में केवल एक वाक्यांश का उपयोग किया गया था, फिर भी उत्पादों को walking shoes, sports shoes और sports sneakers के रूप में भी लेबल किया गया था। इससे यह सवाल उठा कि ऐप को कैसे पता चलता है कि ये शब्द आपस में संबंधित हैं, और यही सवाल लेखक को वर्ड एम्बेडिंग की अवधारणा तक ले गया।
एम्बेडिंग शॉपिंग ऐप्स से कहीं आगे तक महत्वपूर्ण हैं। लार्ज लैंग्वेज मॉडल उनका उपयोग प्रॉम्प्ट को प्रोसेस करने के लिए करते हैं, और वे AI असिस्टेंट भी, जो उत्तर देने के लिए वेब से जानकारी लाते हैं, इस विधि पर निर्भर रहते हैं, जिसे Retrieval-Augmented Generation (RAG) कहा जाता है। आधुनिक सर्च सिस्टम अक्सर कीवर्ड मिलान, एम्बेडिंग और रैंकिंग मॉडल को मिलाते हैं, लेकिन सिमेंटिक संबंधों की पहचान करने और सटीक शब्द मिलान के बजाय अर्थ के आधार पर जानकारी खोजने में एम्बेडिंग केंद्रीय भूमिका निभाती हैं।
एम्बेडिंग किसी चीज़ का संख्यात्मक प्रतिनिधित्व है, और वर्ड एम्बेडिंग में हर शब्द संख्याओं के वेक्टर के रूप में दर्शाया जाता है। यह TF-IDF से अलग है, जो एक सांख्यिकीय विधि है और शब्दों को इस आधार पर भार देती है कि वे किसी दस्तावेज़ में कितनी बार आते हैं और पूरे संग्रह में कितने आम हैं। इसके विपरीत, वर्ड एम्बेडिंग हर शब्द के लिए यह सीखती हैं कि वह दूसरे शब्दों के साथ कैसे उपयोग होता है, इसलिए संबंध स्वयं डेटा से सीखे जाते हैं।
अगला सवाल यह है कि सीखे गए वेक्टर प्रतिनिधित्व का क्या अर्थ है और यह सीखना कैसे होता है। एक ऑनलाइन शॉपिंग सर्च सिस्टम को सरल उदाहरण के रूप में लेने पर यह विचार और स्पष्ट हो जाता है: समान संदर्भों में उपयोग होने वाले शब्दों के वेक्टर भी समान हो जाते हैं, जिससे सिस्टम "running shoes" को "sports shoes" से जोड़ सकता है, भले ही शब्द बिल्कुल एक जैसे न हों।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित