يُوصف نموذج تعلم الآلة عادةً بعدد معاملاته القابلة للتدريب، لكن هذا الرقم قد يكون مضللًا. فقد يحتوي نموذج ما على معاملات كثيرة لا تخلق طرقًا مستقلة حقًا للتأثير في مخرجاته، بينما قد يستخدم نموذج مدمج تقريبًا كل معامل فيه بطريقة متميزة وذات معنى. والبعد الفعّال وسيلة لقياس هذا الفرق.
لنتأمل نموذجين بالمعاملين θ1 وθ2. في الأول، تؤثر المعاملات في المخرج بشكل مستقل، لذا يمكن للنموذج أن يتغير في اتجاهين مستقلين. وفي الثاني، يعتمد المخرج على مجموعهما فقط، لذا تنتج أزواج كثيرة من المعاملات الدالة نفسها تمامًا. ورغم أن النموذج يملك رسميًا معاملين، فإن له درجة حرية واحدة فقط. وهذا يوضح الفكرة المحورية: عدد المعاملات لا يمثل بالضرورة التعقيد الوظيفي.
البعد الفعّال مقياس لتعقيد المعلومات يعتمد على المقياس، وقد طُوّر أصلًا في نظرية المعلومات الإحصائية لعدّ المعاملات النشطة فعليًا في النموذج بناءً على حجم البيانات المتاحة. ومنذ ذلك الحين اعتُمد في تعلم الآلة الكلاسيكي والكمي لتقييم قدرة النموذج التعبيرية وقابليته للتدريب وقدرته على التعميم. وعلى خلاف الدقة أو دالة الخسارة أو العدد الخام للمعاملات، يسأل هذا المقياس عن عدد اتجاهات المعاملات المتمايزة التي يملكها النموذج عبر منطقة معاملات مختارة وتوزيع بيانات محدد.
ومن المهم أن البعد الفعّال مرتبط بالتعميم. وتحت افتراضات هذا الإطار، يمكنه أن يقدم حدًا لأداء التعميم يعتمد على التعقيد. وهذا هو الجزء الأول من سلسلة من جزأين؛ وسيوضح الجزء الثاني كيفية تنفيذ حسابات البعد الفعّال في تجارب تعلم الآلة.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing