Bienvenue ! Beaucoup d'entre nous essaient aujourd'hui de trouver le temps de marcher ou de faire de l'exercice régulièrement, même si nos vies sont de plus en plus chargées. L'auteur a décidé d'intégrer la course à pied à sa routine quotidienne et, comme beaucoup de gens, a choisi d'acheter des chaussures de running en ligne. En recherchant « running shoes » dans une application de shopping, un casse-tête est apparu : les produits étaient aussi étiquetés walking shoes, sports shoes et sports sneakers, alors que la requête n'utilisait qu'une seule expression. Cela a soulevé une question sur la manière dont l'application sait que ces termes sont liés, ce qui a conduit l'auteur au concept de word embeddings.
Les embeddings ont une importance qui dépasse largement les applications de shopping. Les grands modèles de langage s'en servent pour traiter les requêtes, et les assistants IA qui récupèrent des informations sur le web pour formuler leurs réponses, une méthode appelée génération augmentée par récupération (RAG), en dépendent également. Les systèmes de recherche modernes combinent souvent la correspondance de mots-clés, les embeddings et les modèles de classement, mais les embeddings sont essentiels pour identifier les relations sémantiques et pour retrouver l'information par le sens plutôt que par correspondance exacte des mots.
Un embedding est une représentation numérique de quelque chose ; dans les word embeddings, chaque mot est représenté par un vecteur de nombres. Cela diffère de TF-IDF, une méthode statistique qui pondère les termes selon leur fréquence dans un document et leur degré de présence dans l'ensemble d'une collection. Les word embeddings, eux, apprennent un vecteur pour chaque mot à partir de la manière dont il est utilisé avec d'autres mots, de sorte que les relations sont apprises à partir des données elles-mêmes.
La question suivante est de savoir ce que signifie une représentation vectorielle apprise et comment cet apprentissage se déroule. En prenant un système de recherche de shopping en ligne comme exemple simple, l'idée devient plus claire : les mots utilisés dans des contextes similaires finissent par avoir des vecteurs similaires, ce qui permet à un système de relier « running shoes » à « sports shoes » même sans correspondance exacte.
FAQ : Comment les word embeddings savent-ils que deux mots différents sont liés ?
Les word embeddings apprennent un vecteur pour chaque mot à partir de la manière dont il est utilisé avec d'autres mots dans les données. Les mots qui apparaissent dans des contextes similaires reçoivent des vecteurs similaires, de sorte que le système peut considérer des termes comme « running shoes » et « sports shoes » comme liés, même lorsque les mots exacts diffèrent.
Source: Towards Data Science · Résumé par HeadlinesBriefing