Это утверждение ходит уже несколько месяцев и достаточно конкретно, чтобы его можно было измерить: табличная фундаментальная модель предсказывает на таблице, никогда не обучаясь на ней, и всё равно побеждает настроенный бустинг. Если это верно, то полдесятилетия практики меняет форму. Поиск гиперпараметров перестаёт быть обязательным шагом и становится роскошью, которая иногда не окупается. Поэтому я проверил это на своей собственной видеокарте, с четырнадцатью наборами данных, четырьмя конкурентами и одним и тем же секундомером для всех. Табличная фундаментальная модель предобучена на миллионах синтетических таблиц, созданных специально для этого. Когда приходит новая таблица, она не регулирует ни одного веса: она принимает строки обучения как контекст и выдаёт предсказания за один прямой проход. Это та же идея обучения в контексте, которую мы уже знаем по языковым моделям, перенесённая со слов на столбцы. Вот почему глагол «обучать» выглядит странно: код всё ещё вызывает fit, но внутри нет градиентного спуска, есть только копия данных на карту. Это также объясняет, почему стоимость проявляется там, где вы её не ожидаете. Обучение почти бесплатно, а предсказание — это то, за что платят, точно наоборот по сравнению с деревом. Так сказано — звучит абстрактно, поэтому вот полный путь одной строки: приходит запрос с пустой ячейкой, модель взвешивает её по отношению ко всему, что уже произошло, разрешает её за один проход и возвращает будущее. Выберите cualquiera из шести случаев, которые я измерял, чтобы увидеть это на их реальных данных: риск дефолта, рекламная кампания, клиническая повторная госпитализация, рецидив, спрос на электроэнергию, молекулярный скрининг.