ورقة 2023 لـ Berglund وزملائه [1] تجادل أن نماذج اللغة لا تحصل على تذكر متماثل للحقائق مجانًا. مثالها الافتتاحي: شخص يتعلم أن Valentina Tereshkova كانت أول امرأة تسافر إلى الفضاء يمكنه أيضًا الإجابة "من كانت أول امرأة تسافر إلى الفضاء؟" يبدو ذلك تافهًا. لكن نموذجًا مدربًا على الجملة الأولى، حيث يأتي الاسم قبل الوصف، قد يتعلم الإجابة "من كانت Valentina Tereshkova؟" ويظل يفشل عندما يأتي الوصف أولاً. يسمي المؤلفون هذا لعنة الانعكاس.
تأتي أدلتهم من مكانين. قاموا بضبط دقيق لـ GPT-3 و Llama-1 على حقائق مخترعة ووجدوا أن الدقة كانت قريبة من الصفر كلما جاء السؤال بالترتيب المعاكس لجمل التدريب. واختبروا GPT-4 على مشاهير حقيقيين: سمى والد أحد المشاهير حوالي 79% من الوقت، لكنه سمى المشهور عندما أُعطي الوالد فقط حوالي 33% من الوقت (الزوج الكلاسيكي هو "من هي والدة توم كروز؟" مقابل "من هو ابن ماري لي فايفر؟").
يشير المؤلفون أيضًا إلى أن الفشل ليس نقصًا في المنطق: إذا كانت "A هي B" موجودة في المطالبة، يمكن لـ GPT-4 استنتاج "B هي A" بشكل جيد. المشكلة تظهر عندما تم تعلم الحقيقة أثناء التدريب ويجب تذكرها لاحقًا من الجانب الآخر. هذا ما يجعله مفاجئًا، وهذا ما يسمح لنا نموذج اللعبة أدناه برؤيته مباشرة.
الكيانات الرئيسية: الشركات: Towards Data Science | الأشخاص: Berglund, Valentina Tereshkova, Tom Cruise, Mary Lee Pfeiffer
سؤال شائع: ما هي لعنة الانعكاس؟
لعنة الانعكاس هي ظاهرة حيث يمكن لنموذج لغة أن يتذكر حقيقة في الاتجاه الذي تعلمها فيه لكنه يفشل عندما يُسأل بالعكس، على الرغم من أن العبارتين متماثلتان منطقيًا.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing