Willkommen zurück! Viele von uns versuchen heute, trotz immer vollerer Terminkalender regelmäßig Zeit für Spaziergänge oder Sport zu finden. Der Autor beschloss, Laufen zum festen Bestandteil seines Alltags zu machen, und kaufte wie viele Menschen seine Laufschuhe online. Als er in einer Shopping-App nach „running shoes“ suchte, zeigte sich ein Rätsel: Die Produkte waren auch als walking shoes, sports shoes und sports sneakers gekennzeichnet, obwohl die Suchanfrage nur eine Wendung verwendete. Das warf die Frage auf, wie die App weiß, dass diese Begriffe zusammengehören, und führte den Autor zum Konzept der Word Embeddings.
Embeddings sind weit über Shopping-Apps hinaus wichtig. Große Sprachmodelle nutzen sie zur Verarbeitung von Prompts, und auch KI-Assistenten, die für ihre Antworten Informationen aus dem Web abrufen, eine Methode namens Retrieval-Augmented Generation (RAG), stützen sich auf sie. Moderne Suchsysteme kombinieren häufig Stichwortabgleich, Embeddings und Ranking-Modelle, doch Embeddings sind zentral, wenn es darum geht, semantische Beziehungen zu erkennen und Informationen nach Bedeutung statt nach exakter Wortübereinstimmung abzurufen.
Ein Embedding ist eine numerische Darstellung von etwas, und bei Word Embeddings wird jedes Wort als Vektor aus Zahlen dargestellt. Das unterscheidet sich von TF-IDF, einer statistischen Methode, die Begriffe danach gewichtet, wie oft sie in einem Dokument vorkommen und wie verbreitet sie in einer Sammlung sind. Word Embeddings lernen dagegen für jedes Wort einen Vektor auf Grundlage seiner Verwendung zusammen mit anderen Wörtern, sodass Zusammenhänge direkt aus den Daten gelernt werden.
Die nächste Frage ist, was eine gelernte Vektordarstellung bedeutet und wie dieses Lernen funktioniert. Am Beispiel eines einfachen Online-Shopping-Suchsystems wird die Idee anschaulich: Wörter, die in ähnlichen Kontexten verwendet werden, erhalten ähnliche Vektoren. Dadurch kann ein System „running shoes“ mit „sports shoes“ verbinden, selbst ohne exakte Übereinstimmung.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing