يمكن أن تبدو الوكلاء المبنيون على نماذج اللغة الكبيرة قادرين على أداء مهام كثيرة، منها كتابة الشيفرات البرمجية، وتلخيص الأبحاث، وتخطيط الرحلات، وملء النماذج. وعند طلب احتمال أو درجة ثقة، يقدّمانها بسهولة. ويستخدم كثير من مصمّمي الوكلاء نماذج اللغة الكبيرة لتوليد درجات الثقة بهذه الطريقة، لكن لا يوجد سبب وجيه للثقة بهذا الرقم.
ولفهم السبب، من المفيد أن نعرف معنى الثقة. تخيّل خبير أرصاد جوية يقول: "أنا واثق بنسبة 70% بأن المطر سيهطل غدًا". تأتي ثقته من المعلومات التي يستخدمها، مثل الضغط الجوي الحالي والرطوبة ورادار الطقس، إضافةً إلى سجلات الطقس لسنوات طويلة. ونظريًا، تحويل هذه المعلومات إلى درجة ثقة هو عملية حسابية. فإذا طبّق خبيران يملكان المعلومات نفسها القاعدةَ ذاتها بصورة صحيحة، فينبغي أن يصلا إلى الثقة نفسها. وعندما يختلفان، يكون ذلك لأن لديهما معلومات مختلفة أو لأن أحدهما طبّق القاعدة بشكل خاطئ.
ولا يمكن الحكم على الدقة إلا عبر عدد كبير من التنبؤات. فإذا قال خبير أرصاد 70% في أيام كثيرة، وهطل المطر في نحو 70% منها، فإن توقعاته تكون معايَرة. غير أن المعايرة وحدها لا تكفي. فالخبير الذي يقول دائمًا 30%، أي المتوسط الموسمي، يكون معايَرًا لكنه لا يستخدم أي معلومة عن الغد. أما الخبير المفيد فيكون معايَرًا، ويعطي في الوقت نفسه درجات ثقة قريبة من 10% أو 90% عندما تسمح الأدلة بذلك.
لذلك تحتاج درجة الثقة الجديرة بالثقة إلى شرطين: أن تعكس مقدار المعلومات المتاحة وأن تشير بقوة إلى اتجاه واحد، وأن تُقارَن بسجل مكتوب للتنبؤات والنتائج. فدون هذا السجل لا توجد طريقة لمعرفة ما إذا كانت الدرجة دقيقة. ويرى الكاتب أن الثقة التي يولّدها النموذج بنفسه لا تحقق أيًا من الشرطين، ولهذا يُعدّ الاعتماد عليها فكرة سيئة.
المصدر: Hacker News · لخّصه HeadlinesBriefing