التخزين المؤقت تقنية أساسية في تصميم الأنظمة واسعة النطاق. فهو يخزن البيانات التي يكلف حسابها مبلغًا كبيرًا حتى يمكن إعادة استخدامها لاحقًا دون دفع التكلفة نفسها مرة أخرى. فقد يقوم موقع إلكتروني، على سبيل المثال، بتخزين نتيجة استعلام قاعدة بيانات مؤقتًا بدلًا من تشغيله في كل مرة تُحمَّل فيها الصفحة.
ينطبق المبدأ نفسه على نماذج اللغة الكبيرة. ويعني التخزين المؤقت في تطبيقات هذه النماذج حفظ العمل المنجز في الطلبات السابقة لإعادة استخدامه، مما يقلل تكاليف المعالجة وأزمنة الاستجابة، خاصة عندما تتشارك الطلبات التعليمات نفسها أو المستندات نفسها أو الأسئلة نفسها. وهناك نهجان رئيسيان: التخزين المؤقت للمطالبات والتخزين المؤقت الدلالي. ويهدف كلاهما إلى تقليل العمل المتكرر، لكنهما يعملان في مراحل مختلفة من الطلب ويتبعان قواعد مختلفة.
تأتي تكاليف نماذج اللغة الكبيرة أساسًا من مصدرين: الرموز المدخلة والرموز المخرجة. وغالبًا ما تكون الرموز المخرجة أغلى، لكن الرموز المدخلة قد تكون مكلفة أيضًا، لأن الطلبات كثيرًا ما تتضمن أكثر بكثير من سؤال المستخدم. فتطبيق دعم العملاء، على سبيل المثال، قد يرسل تعليمات السلوك وأمثلة الإجابات ووثائق المنتج ورسائل المحادثة السابقة مع سؤال من 10 كلمات، مما يُنتج آلاف الرموز المدخلة. والتطبيقات التي ترسل دليل منتج طويلًا مع كل طلب تكرر المحتوى نفسه في كل مرة، مع أن مستخدمين مختلفين يطرحون أسئلة مختلفة عنه.
ويظهر التكرار أيضًا في الأسئلة نفسها. فقد يسأل مئات المستخدمين عن كيفية تغيير صورة الملف الشخصي، ويصوغ كل منهم سؤاله بطريقة مختلفة، فيولّد النموذج غالبًا الإجابة نفسها تقريبًا مرارًا وتكرارًا. وهذا يتيح فرصتين لخفض التكاليف: إعادة استخدام محتوى الإدخال الذي سبقت معالجته، مثل دليل المنتج، وإعادة استخدام إجابات الأسئلة المتطابقة جوهريًا.
المصدر: ByteByteGo · لخّصه HeadlinesBriefing