Bem-vindos de volta! Muitos de nós tentamos hoje encontrar tempo para caminhar ou fazer exercícios regularmente, mesmo com a vida cada vez mais corrida. O autor decidiu incluir a corrida na rotina diária e, como muitas pessoas, optou por comprar tênis de corrida online. Ao pesquisar "running shoes" em um aplicativo de compras, surgiu um enigma: os produtos também estavam rotulados como walking shoes, sports shoes e sports sneakers, embora a busca usasse apenas uma expressão. Isso levantou uma questão sobre como o aplicativo sabe que esses termos estão relacionados, o que levou o autor ao conceito de word embeddings.
Os embeddings são importantes muito além dos aplicativos de compras. Grandes modelos de linguagem os utilizam para processar prompts, e assistentes de IA que buscam informações na web para suas respostas, método conhecido como Retrieval-Augmented Generation (RAG), também dependem deles. Os sistemas de busca modernos costumam combinar correspondência de palavras-chave, embeddings e modelos de ranqueamento, mas os embeddings são centrais para identificar relações semânticas e recuperar informações pelo significado, e não apenas por correspondências exatas de palavras.
Um embedding é uma representação numérica de algo, e nos word embeddings cada palavra é representada como um vetor de números. Isso difere do TF-IDF, um método estatístico que pondera os termos conforme a frequência com que aparecem em um documento e o quão comuns são em uma coleção. Já os word embeddings aprendem um vetor para cada palavra com base em como ela é usada junto de outras palavras, de modo que as relações são aprendidas a partir dos próprios dados.
A próxima questão é o que significa uma representação vetorial aprendida e como esse aprendizado acontece. Usando um sistema de busca de compras online como exemplo simples, a ideia fica mais clara: palavras usadas em contextos semelhantes acabam com vetores semelhantes, o que permite a um sistema conectar "running shoes" a "sports shoes" mesmo sem uma correspondência exata.
Perguntas frequentes: Como os word embeddings sabem que duas palavras diferentes estão relacionadas?
Os word embeddings aprendem um vetor para cada palavra a partir de como ela é usada com outras palavras nos dados. Palavras que aparecem em contextos semelhantes recebem vetores semelhantes, então o sistema pode tratar termos como "running shoes" e "sports shoes" como relacionados, mesmo quando as palavras exatas são diferentes.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing