Mistral a publié Timestral, sa première famille de modèles fondationnels pour les séries temporelles. Le modèle phare, doté de 209 M de paramètres, se classe premier sur les benchmarks GIFT-Eval, TIME et fev-bench, devançant l'ancien état de l'art tout en utilisant seulement les deux tiers de ses paramètres. Timestral produit des prévisions probabilistes et multivariées, et prend en charge les covariables connues uniquement dans le passé comme celles connues dans le futur.
La famille compte quatre tailles, de 5 M à 209 M de paramètres, et chacune se situe sur la frontière de Pareto entre précision de prévision et taille du modèle. Le modèle de 28 M surpasse Chronos-2, environ quatre fois plus grand, sur GIFT-Eval et TIME. Timestral ne nécessite par ailleurs aucun GPU pour l'inférence. Sur un processeur de serveur standard, la prévision à un jour prend 10 ms avec le modèle de 5 M et 140 ms avec celui de 209 M.
Les données de séries temporelles sont courantes en entreprise, des télémesures de capteurs aux indicateurs d'observabilité, et guident des décisions en planification des capacités, énergie, chaînes d'approvisionnement, risque et maintenance. Les modèles classiques comme ARIMA sont généralement ajustés à une seule série, tandis que les modèles d'apprentissage profond comme PatchTST sont habituellement entraînés depuis zéro sur chaque jeu de données. Les modèles fondationnels, eux, apprennent des régularités à partir d'un corpus vaste et diversifié qui se transfèrent d'une série à l'autre, permettant la prévision en zero-shot même lorsque les données sont rares.
Le modèle combine pré-entraînement synthétique, attention sensible aux covariables et apprentissage à long contexte, et peut être affiné pour des domaines spécifiques via Mistral Forge. Les résultats ont été soumis aux classements GIFT-Eval et TIME.
Source: Hacker News · Résumé par HeadlinesBriefing