How Netflix Taught an LLM to Recommend Movies So That You Keep Watching

Recommendations are one of the most important pieces of the Netflix experience. The original Netflix recommendations engine was built on top of 1000s of hand‑crafted features across users, items, and interactions. Though a lot of changes have happened to this stack over the years, it’s still pretty complex. It’s costly to onboard new use cases.

Large language models (LLMs) have made great strides in their ability to recommend things to a user. Due to their broader world knowledge and understanding of language, LLMs do a good job of figuring out relationships between different things. However, you cannot just pick an LLM off-the-shelf to generate recommendations for a company like Netflix. This is why the Netflix engineering team built Gen Rec.

The basic idea behind Gen Rec is to use an LLM to make better sense of a user’s viewing history to assign scores to the various movies and TV shows streaming on Netflix. Netflix has to make a bunch of adjustments to the base model to make it work with their content and member behavior.

A recommendation system has to answer a basic question: What should appear first in the list of recommendations? The ordering of the recommendations is handled by a component known as the ranker. It assigns scores to various items based on how suitable they appear for a particular user in a particular situation. The better an item’s score, the higher it appears.

التوصيات هي واحدة من أهم أجزاء تجربة Netflix. تم بناء محرك التوصيات الأصلي لـ Netflix على آلاف الميزات المصنوعة يدويًا عبر المستخدمين والعناصر والتفاعلات. على الرغم من حدوث الكثير من التغييرات في هذه المجموعة على مر السنين، إلا أنها لا تزال معقدة للغاية. من المكلف إضافة حالات استخدام جديدة.

حققت نماذج اللغة الكبيرة (LLM) تقدمًا كبيرًا في قدرتها على توصية الأشياء للمستخدم. نظرًا لمعرفتها الأوسع بالعالم وفهمها للغة، تقوم LLM بعمل جيد في اكتشاف العلاقات بين الأشياء المختلفة. ومع ذلك، لا يمكنك فقط اختيار LLM جاهز لتوليد توصيات لشركة مثل Netflix. هذا هو السبب في أن فريق الهندسة في Netflix بنى Gen Rec.

الفكرة الأساسية وراء Gen Rec هي استخدام LLM لفهم أفضل لتاريخ مشاهدة المستخدم لتعيين درجات لمختلف الأفلام والبرامج التلفزيونية المتدفقة على Netflix. يتعين على Netflix إجراء مجموعة من التعديلات على النموذج الأساسي لجعله يعمل مع محتواها وسلوك الأعضاء.

يجب على نظام التوصيات الإجابة على سؤال أساسي: ما الذي يجب أن يظهر أولاً في قائمة التوصيات؟ يتم التعامل مع ترتيب التوصيات بواسطة مكون يُعرف باسم الرانكر. يقوم بتعيين درجات لعناصر مختلفة بناءً على مدى ملاءمتها لمستخدم معين في موقف معين. كلما كانت درجة العنصر أفضل، كلما ظهر أعلى.

সুপারিশগুলি Netflix অভিজ্ঞতার সবচেয়ে গুরুত্বপূর্ণ অংশগুলির মধ্যে একটি। মূল Netflix সুপারিশ ইঞ্জিনটি ব্যবহারকারী, আইটেম এবং মিথস্ক্রিয়া জুড়ে হাজার হাজার হাতে তৈরি বৈশিষ্ট্যের উপর নির্মিত হয়েছিল। বছরের পর বছর ধরে এই স্ট্যাকে অনেক পরিবর্তন এসেছে, তবুও এটি বেশ জটিল। নতুন ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত করা ব্যয়বহুল।

বৃহৎ ভাষা মডেল (LLM) ব্যবহারকারীকে জিনিস সুপারিশ করার ক্ষমতায় অনেক অগ্রগতি করেছে। তাদের বিস্তৃত বিশ্ব জ্ঞান এবং ভাষা বোঝার কারণে, LLM বিভিন্ন জিনিসের মধ্যে সম্পর্ক খুঁজে বের করার একটি ভাল কাজ করে। তবে, আপনি Netflix-এর মতো একটি কোম্পানির জন্য সুপারিশ তৈরি করতে একটি রেডি-মেড LLM বাছাই করতে পারবেন না। এই কারণেই Netflix ইঞ্জিনিয়ারিং টিম Gen Rec তৈরি করেছে।

Gen Rec-এর পিছনে মূল ধারণা হল Netflix-এ স্ট্রিমিং করা বিভিন্ন সিনেমা এবং টিভি শো-তে স্কোর বরাদ্দ করার জন্য ব্যবহারকারীর দেখার ইতিহাস আরও ভালভাবে বোঝার জন্য একটি LLM ব্যবহার করা। Netflix-কে তাদের কন্টেন্ট এবং সদস্য আচরণের সাথে কাজ করার জন্য বেস মডেলে বেশ কয়েকটি সমন্বয় করতে হবে।

একটি সুপারিশ সিস্টেমকে একটি মৌলিক প্রশ্নের উত্তর দিতে হবে: সুপারিশের তালিকায় প্রথমে কী উপস্থিত হওয়া উচিত? সুপারিশগুলির ক্রম একটি উপাদান দ্বারা পরিচালিত হয় যা র্যাঙ্কার নামে পরিচিত। এটি একটি নির্দিষ্ট পরিস্থিতিতে একটি নির্দিষ্ট ব্যবহারকারীর জন্য কতটা উপযুক্ত বলে মনে হয় তার ভিত্তিতে বিভিন্ন আইটেমকে স্কোর বরাদ্দ করে। একটি আইটেমের স্কোর যত ভাল, এটি তত উপরে প্রদর্শিত হয়।

Empfehlungen sind einer der wichtigsten Bestandteile des Netflix-Erlebnisses. Die ursprüngliche Netflix-Empfehlungsmaschine wurde auf Tausenden handgefertigter Merkmale über Benutzer, Artikel und Interaktionen hinweg aufgebaut. Obwohl sich im Laufe der Jahre viele Änderungen an diesem Stack ergeben haben, ist er immer noch recht komplex. Es ist kostspielig, neue Anwendungsfälle zu integrieren.

Große Sprachmodelle (LLMs) haben große Fortschritte in ihrer Fähigkeit gemacht, einem Benutzer Dinge zu empfehlen. Aufgrund ihres breiteren Weltwissens und ihres Sprachverständnisses leisten LLMs gute Arbeit, um Beziehungen zwischen verschiedenen Dingen zu erkennen. Sie können jedoch nicht einfach ein LLM von der Stange nehmen, um Empfehlungen für ein Unternehmen wie Netflix zu generieren. Aus diesem Grund hat das Ingenieurteam von Netflix Gen Rec entwickelt.

Die grundlegende Idee hinter Gen Rec ist es, ein LLM zu verwenden, um den Sehverlauf eines Benutzers besser zu verstehen, um den verschiedenen Filmen und Fernsehsendungen, die auf Netflix gestreamt werden, Bewertungen zuzuweisen. Netflix muss eine Reihe von Anpassungen am Basismodell vornehmen, damit es mit seinen Inhalten und dem Mitgliederverhalten funktioniert.

Ein Empfehlungssystem muss eine grundlegende Frage beantworten: Was sollte zuerst in der Liste der Empfehlungen erscheinen? Die Reihenfolge der Empfehlungen wird von einer Komponente namens Ranker übernommen. Es weist verschiedenen Artikeln basierend darauf, wie geeignet sie für einen bestimmten Benutzer in einer bestimmten Situation erscheinen, Bewertungen zu. Je besser die Bewertung eines Artikels, desto höher erscheint er.

Las recomendaciones son una de las partes más importantes de la experiencia de Netflix. El motor original de recomendaciones de Netflix se construyó sobre miles de características hechas a mano en usuarios, elementos e interacciones. Aunque se han producido muchos cambios en esta pila a lo largo de los años, sigue siendo bastante compleja. Es costoso incorporar nuevos casos de uso.

Los grandes modelos de lenguaje (LLM) han avanzado mucho en su capacidad para recomendar cosas a un usuario. Debido a su conocimiento más amplio del mundo y su comprensión del lenguaje, los LLM hacen un buen trabajo al descubrir relaciones entre diferentes cosas. Sin embargo, no se puede simplemente tomar un LLM listo para usar para generar recomendaciones para una empresa como Netflix. Por eso el equipo de ingeniería de Netflix construyó Gen Rec.

La idea básica detrás de Gen Rec es usar un LLM para comprender mejor el historial de visualización de un usuario y asignar puntuaciones a las diversas películas y programas de TV que se transmiten en Netflix. Netflix tiene que hacer una serie de ajustes al modelo base para que funcione con su contenido y el comportamiento de los miembros.

Un sistema de recomendación debe responder una pregunta básica: ¿Qué debería aparecer primero en la lista de recomendaciones? El orden de las recomendaciones lo maneja un componente conocido como el clasificador. Asigna puntuaciones a varios elementos según lo adecuados que parezcan para un usuario particular en una situación particular. Cuanto mejor sea la puntuación de un elemento, más arriba aparecerá.

Les recommandations sont l'un des éléments les plus importants de l'expérience Netflix. Le moteur de recommandation original de Netflix a été construit sur des milliers de fonctionnalités artisanales couvrant les utilisateurs, les éléments et les interactions. Bien que de nombreux changements aient eu lieu dans cette pile au fil des ans, elle reste assez complexe. Il est coûteux d'intégrer de nouveaux cas d'utilisation.

Les grands modèles de langage (LLM) ont fait de grands progrès dans leur capacité à recommander des choses à un utilisateur. Grâce à leur connaissance plus large du monde et à leur compréhension du langage, les LLM font un bon travail pour trouver les relations entre différentes choses. Cependant, vous ne pouvez pas simplement prendre un LLM prêt à l'emploi pour générer des recommandations pour une entreprise comme Netflix. C'est pourquoi l'équipe d'ingénierie de Netflix a construit Gen Rec.

L'idée de base derrière Gen Rec est d'utiliser un LLM pour mieux comprendre l'historique de visionnage d'un utilisateur afin d'attribuer des scores aux différents films et émissions de télévision diffusés sur Netflix. Netflix doit apporter un certain nombre d'ajustements au modèle de base pour le faire fonctionner avec son contenu et le comportement des membres.

Un système de recommandation doit répondre à une question de base : Que devrait apparaître en premier dans la liste des recommandations ? L'ordre des recommandations est géré par un composant connu sous le nom de ranker. Il attribue des scores à divers éléments en fonction de leur pertinence apparente pour un utilisateur particulier dans une situation particulière. Meilleur est le score d'un élément, plus il apparaît haut.

सिफारिशें Netflix अनुभव के सबसे महत्वपूर्ण भागों में से एक हैं। मूल Netflix अनुशंसा इंजन उपयोगकर्ताओं, आइटम और इंटरैक्शन में हजारों हस्तनिर्मित सुविधाओं पर बनाया गया था। हालाँकि पिछले कुछ वर्षों में इस स्टैक में बहुत सारे बदलाव हुए हैं, फिर भी यह काफी जटिल है। नए उपयोग के मामलों को शामिल करना महंगा है।

बड़े भाषा मॉडल (LLM) ने उपयोगकर्ता को चीजों की सिफारिश करने की अपनी क्षमता में काफी प्रगति की है। व्यापक विश्व ज्ञान और भाषा की समझ के कारण, LLM विभिन्न चीजों के बीच संबंधों का पता लगाने का अच्छा काम करते हैं। हालाँकि, आप Netflix जैसी कंपनी के लिए सिफारिशें उत्पन्न करने के लिए केवल एक तैयार LLM नहीं चुन सकते। यही कारण है कि Netflix इंजीनियरिंग टीम ने Gen Rec बनाया।

Gen Rec के पीछे मूल विचार Netflix पर स्ट्रीम होने वाली विभिन्न फिल्मों और टीवी शो को स्कोर असाइन करने के लिए उपयोगकर्ता के देखने के इतिहास को बेहतर ढंग से समझने के लिए LLM का उपयोग करना है। Netflix को अपनी सामग्री और सदस्य व्यवहार के साथ काम करने के लिए बेस मॉडल में कई समायोजन करने होंगे।

एक अनुशंसा प्रणाली को एक बुनियादी प्रश्न का उत्तर देना होता है: अनुशंसाओं की सूची में सबसे पहले क्या दिखाई देना चाहिए? अनुशंसाओं के क्रम को एक घटक द्वारा संभाला जाता है जिसे रैंकर के रूप में जाना जाता है। यह किसी विशेष स्थिति में किसी विशेष उपयोगकर्ता के लिए उपयुक्त दिखने के आधार पर विभिन्न वस्तुओं को स्कोर प्रदान करता है। किसी आइटम का स्कोर जितना बेहतर होगा, वह उतना ही ऊपर दिखाई देगा।

Rekomendasi adalah salah satu bagian terpenting dari pengalaman Netflix. Mesin rekomendasi asli Netflix dibangun di atas ribuan fitur buatan tangan di seluruh pengguna, item, dan interaksi. Meskipun banyak perubahan telah terjadi pada tumpukan ini selama bertahun-tahun, ini masih cukup rumit. Biaya untuk mengintegrasikan kasus penggunaan baru cukup mahal.

Model bahasa besar (LLM) telah membuat kemajuan besar dalam kemampuan mereka untuk merekomendasikan hal-hal kepada pengguna. Karena pengetahuan dunia yang lebih luas dan pemahaman bahasa, LLM melakukan pekerjaan yang baik dalam menemukan hubungan antara berbagai hal. Namun, Anda tidak bisa begitu saja mengambil LLM yang sudah jadi untuk menghasilkan rekomendasi untuk perusahaan seperti Netflix. Inilah sebabnya tim teknik Netflix membangun Gen Rec.

Ide dasar di balik Gen Rec adalah menggunakan LLM untuk lebih memahami riwayat tontonan pengguna untuk memberikan skor pada berbagai film dan acara TV yang streaming di Netflix. Netflix harus melakukan serangkaian penyesuaian pada model dasar agar dapat bekerja dengan konten dan perilaku anggota mereka.

Sistem rekomendasi harus menjawab pertanyaan dasar: Apa yang harus muncul pertama dalam daftar rekomendasi? Pengurutan rekomendasi ditangani oleh komponen yang dikenal sebagai ranker. Ini memberikan skor ke berbagai item berdasarkan seberapa cocok mereka untuk pengguna tertentu dalam situasi tertentu. Semakin baik skor suatu item, semakin tinggi item tersebut muncul.

レコメンデーションはNetflix体験の最も重要な部分の1つです。元のNetflixレコメンデーションエンジンは、ユーザー、アイテム、インタラクションにわたる数千の手作りの特徴の上に構築されました。長年にわたってこのスタックに多くの変更が加えられましたが、それでもかなり複雑です。新しいユースケースを導入するのはコストがかかります。

大規模言語モデル（LLM）は、ユーザーに物事を推薦する能力において大きな進歩を遂げました。より広範な世界知識と言語理解により、LLMは異なるもの間の関係を見つけ出すのに優れています。しかし、Netflixのような企業向けにレコメンデーションを生成するために、既製のLLMをそのまま使用することはできません。これが、NetflixのエンジニアリングチームがGen Recを構築した理由です。

Gen Recの背後にある基本的な考え方は、LLMを使用してユーザーの視聴履歴をよりよく理解し、Netflixでストリーミングされているさまざまな映画やテレビ番組にスコアを割り当てることです。Netflixは、コンテンツとメンバーの行動に合わせてベースモデルに一連の調整を行う必要があります。

レコメンデーションシステムは、基本的な質問に答える必要があります：レコメンデーションのリストに最初に何を表示すべきか？レコメンデーションの順序は、ランカーとして知られるコンポーネントによって処理されます。特定の状況で特定のユーザーにどれだけ適しているかに基づいて、さまざまなアイテムにスコアを割り当てます。アイテムのスコアが高いほど、より上位に表示されます。

As recomendações são uma das partes mais importantes da experiência Netflix. O mecanismo de recomendação original da Netflix foi construído sobre milhares de recursos artesanais em usuários, itens e interações. Embora muitas mudanças tenham ocorrido nesta pilha ao longo dos anos, ela ainda é bastante complexa. É caro incorporar novos casos de uso.

Os grandes modelos de linguagem (LLMs) fizeram grandes avanços em sua capacidade de recomendar coisas a um usuário. Devido ao seu conhecimento mais amplo do mundo e compreensão da linguagem, os LLMs fazem um bom trabalho ao descobrir relações entre diferentes coisas. No entanto, você não pode simplesmente pegar um LLM pronto para uso para gerar recomendações para uma empresa como a Netflix. É por isso que a equipe de engenharia da Netflix construiu o Gen Rec.

A ideia básica por trás do Gen Rec é usar um LLM para entender melhor o histórico de visualização de um usuário e atribuir pontuações aos vários filmes e programas de TV transmitidos na Netflix. A Netflix precisa fazer uma série de ajustes no modelo base para fazê-lo funcionar com seu conteúdo e comportamento dos membros.

Um sistema de recomendação deve responder a uma pergunta básica: O que deve aparecer primeiro na lista de recomendações? A ordenação das recomendações é tratada por um componente conhecido como ranker. Ele atribui pontuações a vários itens com base em quão adequados eles parecem para um determinado usuário em uma situação específica. Quanto melhor a pontuação de um item, mais alto ele aparece.

Рекомендации — одна из важнейших частей опыта Netflix. Первоначальный механизм рекомендаций Netflix был построен на тысячах созданных вручную функций, охватывающих пользователей, элементы и взаимодействия. Хотя за эти годы в этот стек было внесено много изменений, он все еще довольно сложен. Внедрение новых случаев использования обходится дорого.

Большие языковые модели (LLM) добились больших успехов в своей способности рекомендовать вещи пользователю. Благодаря более широким знаниям о мире и пониманию языка LLM хорошо справляются с выявлением взаимосвязей между различными вещами. Однако вы не можете просто взять готовую LLM для создания рекомендаций для такой компании, как Netflix. Вот почему инженерная команда Netflix создала Gen Rec.

Основная идея Gen Rec заключается в использовании LLM для лучшего понимания истории просмотров пользователя, чтобы присваивать оценки различным фильмам и телешоу, транслируемым на Netflix. Netflix должен внести ряд корректировок в базовую модель, чтобы она работала с их контентом и поведением участников.

Система рекомендаций должна ответить на основной вопрос: Что должно появиться первым в списке рекомендаций? Порядок рекомендаций обрабатывается компонентом, известным как ранжировщик. Он присваивает оценки различным элементам на основе того, насколько подходящими они кажутся для конкретного пользователя в конкретной ситуации. Чем выше оценка элемента, тем выше он отображается.

推荐是 Netflix 体验中最重要的部分之一。最初的 Netflix 推荐引擎建立在 数千 个手工制作的用户、物品和交互特征之上。尽管多年来这个堆栈发生了很多变化，但它仍然相当复杂。引入新用例的成本很高。

大型语言模型（LLM）在向用户推荐内容的能力方面取得了巨大进步。由于具有更广泛的世界知识和语言理解能力，LLM 能够很好地找出不同事物之间的关系。然而，你不能直接拿一个现成的 LLM 来为像 Netflix 这样的公司生成推荐。这就是为什么 Netflix 工程团队构建了 Gen Rec。

Gen Rec 的基本思想是使用 LLM 更好地理解用户的观看历史，从而为 Netflix 上播放的各种电影和电视节目分配评分。Netflix 必须对基础模型进行一系列调整，使其适用于他们的内容和会员行为。

推荐系统必须回答一个基本问题：推荐列表中应该首先出现什么？推荐的排序由一个称为排序器的组件处理。它根据特定用户在特定情况下的适合程度为各种物品分配评分。物品的评分越高，它出现的位置就越靠前。