A Mistral lançou o Timestral, sua primeira família de modelos fundacionais para séries temporais. O modelo principal, com 209 M de parâmetros, ocupa o primeiro lugar nos benchmarks GIFT-Eval, TIME e fev-bench, superando o estado da arte anterior com apenas dois terços de seus parâmetros. O Timestral produz previsões probabilísticas e multivariadas e oferece suporte tanto a covariáveis apenas do passado quanto a covariáveis de futuro conhecido.
A família vem em quatro tamanhos, de 5 M a 209 M de parâmetros, e cada tamanho está na fronteira de Pareto entre precisão de previsão e tamanho do modelo. O modelo de 28 M supera o Chronos-2, cerca de quatro vezes maior, nos benchmarks GIFT-Eval e TIME. Além disso, o Timestral não exige GPU na inferência. Em uma CPU de servidor padrão, prever um dia à frente leva 10 ms com o modelo de 5 M e 140 ms com o de 209 M.
Dados de séries temporais são comuns em ambientes corporativos, de telemetria de sensores a métricas de observabilidade, e orientam decisões de planejamento de capacidade, energia, cadeias de suprimentos, risco e manutenção. Modelos clássicos como o ARIMA costumam ser ajustados a uma única série, enquanto modelos de aprendizado profundo como o PatchTST são normalmente treinados do zero em cada conjunto de dados. Já os modelos fundacionais aprendem padrões a partir de um corpus grande e diversificado que se transferem entre séries, permitindo previsões zero-shot mesmo onde os dados são escassos.
O modelo combina pré-treinamento sintético, atenção sensível a covariáveis e aprendizado de contexto longo, e pode ser ajustado para domínios específicos por meio do Mistral Forge. Os resultados foram enviados aos rankings GIFT-Eval e TIME.
Fonte: Hacker News · Resumido por HeadlinesBriefing