HeadlinesBriefing favicon HeadlinesBriefing.com

TabPFN y TabICL vs. XGBoost ajustado: el modelo que no entrena ganó 14/14

Hacker News •
×

La afirmación ha estado circulando durante meses y es lo suficientemente concreta como para ser medible: un modelo de base tabular predice en una tabla sin haberla entrenado nunca y aún así vence al boosting ajustado. Si esto es cierto, medio siglo de práctica cambia de forma. Buscar hiperparámetros deja de ser un paso obligatorio y se convierte en un lujo que a veces no vale la pena.

Entonces lo puse a prueba en mi propia tarjeta, con catorce conjuntos de datos, cuatro contendientes y el mismo cronómetro para todos. Un modelo de base tabular se preentrena en millones de tablas sintéticas generadas a propósito. Cuando llega una nueva tabla, no ajusta un solo peso: recibe las filas de entrenamiento como contexto y produce las predicciones en un solo pase hacia adelante.

Es la misma idea de aprendizaje en contexto que ya conocemos de los modelos de lenguaje, trasladada de palabras a columnas. Por eso el verbo “entrenar” suena extraño: el código todavía lo llama fit, pero por dentro no hay descenso de gradiente, hay una copia de datos a la tarjeta. Eso también explica por qué el costo aparece donde no lo esperas.

El ajuste es casi gratuito y la predicción es lo que paga, exactamente lo contrario de un árbol. Dicho así suena abstracto, así que aquí está el viaje completo de una fila: llega una solicitud con una celda vacía, el modelo la pondera contra todo lo que ya ocurrió, la resuelve en un pase y devuelve un futuro. Elige cualquiera de los seis casos que midí para verlo con sus datos reales: riesgo de incumplimiento, campaña de ventas, readmisión clínica, reincidencia, demanda de electricidad, cribado molecular.