HeadlinesBriefing favicon HeadlinesBriefing.com

TabPFN et TabICL contre XGBoost réglé : le modèle qui n'entraîne pas a gagné 14/14

Hacker News •
×

Cette affirmation circule depuis des mois et elle est suffisamment concrète pour être mesurable : un modèle de fondation tabulaire prédit sur une table sans jamais l'avoir entraînée et pourtant bat le boosting réglé. Si c'est vrai, un demi-siècle de pratique change de forme. La recherche d'hyperparamètres cesse d'être une étape obligatoire et devient un luxe qui parfois ne rapporte pas.

Alors je l'ai testé sur ma propre carte, avec quatorze jeux de données, quatre concurrents et le même chronomètre pour tous. Un modèle de fondation tabulaire est pré-entraîné sur des millions de tables synthétiques générées exprès. Lorsqu'une nouvelle table arrive, il n'ajuste pas un seul poids : il reçoit les lignes d'entraînement comme contexte et produit les prédictions en un seul passage avant.

C'est la même idée d'apprentissage dans le contexte que nous connaissons déjà avec les modèles de langage, déplacée des mots aux colonnes. C'est pourquoi le verbe « entraîner » semble étrange : le code l'appelle toujours fit, mais à l'intérieur il n'y a pas de descente de gradient, juste une copie des données vers la carte. Cela explique aussi pourquoi le coût apparaît là où on ne l'attend pas.

L'ajustement est presque gratuit et la prédiction est ce qui coûte, exactement l'inverse d'un arbre. Dit ainsi, cela semble abstrait, donc voici le parcours complet d'une ligne : une requête arrive avec une cellule vide, le modèle la pèse par rapport à tout ce qui s'est déjà produit, la résout en un seul passage et retourne un avenir. Choisissez l'un des six cas que j'ai mesurés pour le voir avec leurs données réelles : risque de défaut, campagne de ventes, réadmission clinique, récidive, demande d'électricité, dépistage moléculaire.