يمكن لأي أحد الآن بناء نموذج أولي لـ LLM باستخدام استدعاء API واحد. جعل هذه الميزة نفسها تنجوي أمام مستخدمين حقيقيين، وبيانات حقيقية، وفاتورة حقيقية هو عمل مختلف. يقلص هذا العمل إلى خمسة مهارات تظهر في أغلب الأنظمة الإنتاجية التي عملت عليها أو مراجعتها: الاسترجاع، التوجيه، الحواجز، التقييمات، وحلقات الوكلاء. كل منها تجيب على سؤال لا يستطيع نموذج الحدود حلّه وحده. من أين تأتي بيانات شركتي؟ لماذا الفاتورة بهذه البلوغ؟ ماذا يحدث عندما يرسل أحدهم موجهًا عدويًا؟ هل جعل تغييري الأخير الأمور أفضل أم أسوأ؟ كيف أجعل نموذجًا ينجز مهام متعددة الخطوات دون أن يسقط؟ المهارة رقم 1: RAG، تثبيت نموذج ببياناتك الخاصة نموذج أساسي لا يعرف وثائق شركتك، والتعديل الدقيق عليها كل مرة تتغير فيها يكون بطيئًا ومكلفًا. التوليد المعزز بالاسترجاع (RAG) يسترجع الوثائق ذات الصلة في وقت الاستعلام ويمررها إلى النموذج كسياق. لا يزال هذا أكثر نمط LLM شيوعًا في الإنتاج، وعادةً ما يكون أول شيء يعلّمه منهج دراسي. العمل المثير هو في الاسترجاع. ما إذا كنت تعيد الجزء الصحيح يعتمد على كيفية تقسيمك للوثائق (التجزئة)، وهل تدمج البحث عن الكلمات المفتاحية والدلالي (الاسترجاع الهجين)، وهل تعيد ترتيب النتائج قبل وصولها إلى النموذج (إعادة الترتيب). المهارة رقم 2: توجيه النماذج: دفع ثمن النموذج الذي يحتاجه المهمة إرسال كل طلب إلى نموذج حدودي هو أسرع طريقة للوصول إلى فاتورة لا يستطيع أحد شرحها. يرسل التوجيه الطلبات السهلة والعالية الحجم إلى نموذج صغير أو محلي ويحتفظ بالنموذج المكلف للصعبة. يُقال إن إضافة ذاكرة مخبأة للعمليات المتكررة يقلل بين 40% و70% من فواتير الاستنتاج في الإنتاج، وهو السبب الذي جعل فيه التوجيه ينتقل من حيلة متقدمة إلى توقع أساسي. المهارة تكمن في تقييم الطلب واختيار المستوى.