Selamat datang kembali! Banyak dari kita kini berusaha meluangkan waktu untuk berjalan kaki atau berolahraga secara rutin, meski kehidupan semakin sibuk. Penulis memutuskan menjadikan lari sebagai bagian dari rutinitas harian, dan seperti banyak orang, ia memilih membeli sepatu lari secara daring. Saat mencari "running shoes" di aplikasi belanja, muncul sebuah teka-teki: produk-produknya juga diberi label walking shoes, sports shoes, dan sports sneakers, padahal pencarian hanya menggunakan satu frasa. Hal ini memunculkan pertanyaan tentang bagaimana aplikasi tersebut mengetahui bahwa istilah-istilah itu saling terkait, dan pertanyaan inilah yang membawa penulis pada konsep word embeddings.
Embeddings penting jauh melampaui aplikasi belanja. Large Language Model menggunakannya untuk memproses prompt, dan asisten AI yang mengambil informasi dari web untuk jawabannya, metode yang dikenal sebagai Retrieval-Augmented Generation (RAG), juga bergantung padanya. Sistem pencarian modern sering menggabungkan pencocokan kata kunci, embeddings, dan model peringkat, tetapi embeddings menjadi inti dalam mengidentifikasi hubungan semantik dan mengambil informasi berdasarkan makna, bukan hanya kecocokan kata yang persis.
Embedding adalah representasi numerik dari sesuatu, dan dalam word embeddings setiap kata direpresentasikan sebagai vektor angka. Ini berbeda dengan TF-IDF, metode statistik yang memberi bobot pada istilah berdasarkan seberapa sering istilah itu muncul dalam sebuah dokumen dan seberapa umum istilah itu di seluruh kumpulan dokumen. Word embeddings justru mempelajari vektor untuk setiap kata berdasarkan bagaimana kata itu digunakan bersama kata-kata lain, sehingga hubungan dipelajari dari data itu sendiri.
Pertanyaan berikutnya adalah apa arti representasi vektor yang dipelajari dan bagaimana proses pembelajaran itu terjadi. Dengan menggunakan sistem pencarian belanja daring sebagai contoh sederhana, gagasannya menjadi lebih jelas: kata-kata yang digunakan dalam konteks serupa akan memiliki vektor yang serupa, sehingga sistem dapat menghubungkan "running shoes" dengan "sports shoes" meskipun tidak ada kecocokan yang persis.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing