HeadlinesBriefing favicon HeadlinesBriefing.com

TabPFN e TabICL vs. XGBoost ajustado: o modelo que não treina venceu 14/14

Hacker News •
×

Essa afirmação tem circulado por meses e é concreta o suficiente para ser mensurável: um modelo de base tabular prevê em uma tabela sem jamais ter sido treinado nela e ainda assim vence o boosting ajustado. Se isso for verdade, meio século de prática muda de forma. A busca por hiperparâmetros deixa de ser um passo obrigatório e se torna um luxo que às vezes não compensa.

Então eu o testei no meu próprio cartão, com quatorze conjuntos de dados, quatro concorrentes e o mesmo cronômetro para todos. Um modelo de base tabular é pré-treinado em milhões de tabelas sintéticas geradas propositalmente. Quando uma nova tabela chega, ele não ajusta um único peso: ele recebe as linhas de treinamento como contexto e produz as previsões em uma única passagem para frente. É a mesma ideia de aprendizado no contexto que já conhecemos dos modelos de linguagem, transferida de palavras para colunas. É por isso que o verbo “treinar” soa estranho: o código ainda chama isso de fit, mas por dentro não há descida de gradiente, apenas uma cópia dos dados para o cartão.

Isso também explica por que o custo aparece onde você não espera. O ajuste é quase gratuito e a previsão é o que paga, exatamente o oposto de uma árvore. Dito assim soa abstrato, então aqui está a jornada completa de uma linha: chega um pedido com uma célula vazia, o modelo a pondera em relação a tudo o que já aconteceu, a resolve em uma passagem e retorna um futuro.

Escolha qualquer um dos seis casos que eu measurei para vê-lo com seus dados reais: risco de inadimplência, campanha de vendas, readmissão clínica, reincidência, demanda de eletricidade, triagem molecular.