HeadlinesBriefing favicon HeadlinesBriefing.com

TabPFN و TabICL مقابل XGBoost المُعدَّل: النموذج الذي لا يتدرب فاز 14/14

Hacker News •
×

لقد كان هذا الادعاء يدور لعدة أشهر وهو ملموس بما يكفي ليكون قابلاً للقياس: نموذج أساس جدولي يتنبأ بجدول دون أن يتم تدريبه عليه أبدًا ولا يزال يهزم التعزيز المُعدَّل. إذا كان هذا صحيحًا، فإن نصف عقد من الممارسة يتغير شكله. البحث عن المعلمات الفائقة يتوقف عن كونه خطوة إلزامية ويصبح رفاهية أحيانًا لا تُعوض. لذا وضعت هذا على المحك على بطاقتي الخاصة، مع أربعة عشر مجموعة بيانات، وأربعة متنافسين، والساعة نفسها للجميع. نموذج أساس جدولي يتم تدريبه مسبقًا على ملايين الجدول الاصطناعي التي تم إنشاؤها عمدًا. عندما يصل جدول جديد، فإنه لا يعدل وزنًا واحدًا: يتلقى صفوف التدريب كسياق ويولد التنبؤات في مرور أمامي واحد. إنه نفس فكرة التعلم السياقي التي نعرفها بالفعل من نماذج اللغة، المنقولة من الكلمات إلى الأعمدة. لهذا السبب يبدو الفعل “يتدرب” غريبًا: الكود لا يزال يستدعيها fit، لكن من الداخل لا يوجد نزول تدرج، بل نسخة من البيانات إلى البطاقة. هذا يفسر أيضًا لماذا تظهر التكلفة حيث لا تتوقعها. التدريب شبه مجاني والتنبؤ هو ما يدفع، تمامًا عكس الشجرة. وبهذا الشكل يبدو مجردًا، لذا إليك الرحلة الكاملة لصف واحد: يصل طلب مع خلية فارغة، يزن النموذج إياه مقابل كل ما حدث بالفعل، يحله في مرور واحد ويعيد مستقبلًا. اختر أيًا من الست حالات التي قمت بقياسها لتراه ببياناتهم الحقيقية: خطر التخلف عن السداد، حملة مبيعات، إعادة قبول سريري، إعادة ارتكاب، طلب كهرباء، فحص جزيئي.