Mistral ha lanzado Timestral, su primera familia de modelos fundacionales para series temporales. El modelo insignia, con 209M de parámetros, ocupa el primer lugar en los benchmarks GIFT-Eval, TIME y fev-bench, superando al anterior estado del arte con solo dos tercios de sus parámetros. Timestral genera pronósticos probabilísticos y multivariantes, y admite tanto covariables de solo pasado como covariables de futuro conocido.
La familia consta de cuatro tamaños, desde 5M hasta 209M de parámetros, y cada uno se sitúa en la frontera de Pareto entre precisión de pronóstico y tamaño del modelo. El modelo de 28M supera a Chronos-2, que es unas cuatro veces más grande, en GIFT-Eval y TIME. Además, Timestral no necesita GPU para la inferencia. En un servidor con CPU estándar, pronosticar un día por adelantado tarda 10 ms con el modelo de 5M y 140 ms con el de 209M.
Los datos de series temporales son comunes en entornos empresariales, desde la telemetría de sensores hasta las métricas de observabilidad, y orientan decisiones en planificación de capacidad, energía, cadenas de suministro, riesgo y mantenimiento. Los modelos clásicos como ARIMA suelen ajustarse a una sola serie, mientras que modelos de aprendizaje profundo como PatchTST suelen entrenarse desde cero para cada conjunto de datos. Los modelos fundacionales, en cambio, aprenden patrones a partir de un corpus grande y diverso que se transfieren entre series, lo que permite el pronóstico de cero disparos incluso donde los datos escasean.
El modelo combina preentrenamiento sintético, atención sensible a covariables y aprendizaje de contexto largo, y puede ajustarse a dominios específicos mediante Mistral Forge. Los resultados se han presentado a las clasificaciones de GIFT-Eval y TIME.
Fuente: Hacker News · Resumido por HeadlinesBriefing