Mistral hat Timestral veröffentlicht, seine erste Familie von Basismodellen für Zeitreihen. Das Flaggschiffmodell mit 209 Mio. Parametern belegt den ersten Platz in den Benchmarks GIFT-Eval, TIME und fev-bench und übertrifft damit den bisherigen Stand der Technik, obwohl es nur zwei Drittel von dessen Parametern verwendet. Timestral erstellt probabilistische, multivariate Prognosen und unterstützt sowohl Kovariaten, die nur aus der Vergangenheit bekannt sind, als auch solche mit bekannter Zukunft.
Die Familie umfasst vier Größen von 5 Mio. bis 209 Mio. Parametern, und jede Größe liegt auf der Pareto-Front zwischen Prognosegenauigkeit und Modellgröße. Das Modell mit 28 Mio. Parametern schlägt Chronos-2, das etwa viermal so groß ist, bei GIFT-Eval und TIME. Zudem benötigt Timestral bei der Inferenz keine GPU. Auf einer handelsüblichen Server-CPU dauert eine Prognose für einen Tag im Voraus mit dem 5-Mio.-Modell 10 ms und mit dem 209-Mio.-Modell 140 ms.
Zeitreihendaten sind in Unternehmen weit verbreitet, von Sensortelemetrie bis zu Observability-Metriken, und sie steuern Entscheidungen in Kapazitätsplanung, Energie, Lieferketten, Risikomanagement und Wartung. Klassische Modelle wie ARIMA werden meist an eine einzelne Zeitreihe angepasst, während Deep-Learning-Modelle wie PatchTST typischerweise für jeden Datensatz von Grund auf trainiert werden. Basismodelle lernen dagegen Muster aus einem großen, vielfältigen Korpus, die sich zwischen Zeitreihen übertragen lassen, und ermöglichen so Zero-Shot-Prognosen auch dort, wo Daten knapp sind.
Das Modell kombiniert synthetisches Vortraining, aufmerksamkeitsbasierte Berücksichtigung von Kovariaten und das Lernen langer Kontexte und kann über Mistral Forge für bestimmte Domänen feinabgestimmt werden. Die Ergebnisse wurden an die Bestenlisten von GIFT-Eval und TIME übermittelt.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing