TimesFM-3 führt ein Zero-Shot-Fundamentmodell für multivariate Zeitreihenprognosen ein, das mehrere Ziele, vergangene und dynamische Kovariaten sowie die gemeinsame Vorhersage koevolvierender Reihen unterstützt. Mit 330 Millionen Parametern, die auf über 1 Billion Zeitpunkten vortrainiert wurden, übertrifft es frühere univariate Modelle bei Benchmarks in Einzelhandel, Finanzen, Gesundheitswesen und anderen Domänen. Der Decoder-only-Transformer verwendet patch-basierte Tokenisierung, pro-Reihe-Normalisierung und eine abwechselnde Aufmerksamkeitsarchitektur, die kausale zeitliche Aufmerksamkeit mit vollständiger Variaten-Aufmerksamkeit kombiniert. Dies ermöglicht ein Single-Pass, nicht-autoregressives Decoding, was Effizienz und Genauigkeit verbessert, während komplexe reale Szenarien wie die Prognose von Eisverkäufen mit Hilfsdaten wie Werbeaktionen und Wetter bewältigt werden. TimesFM-3 markiert einen Wechsel von strikt univariaten zu nativen multivariaten Prognosen, was die Anwendbarkeit und Einführung in Produktionsumgebungen erweitert.

Wesentliche Innovationen umfassen Unterstützung für mehrere Ziele (Punkt- und Quantilprognosen), Einbindung vergangener und zukünftiger Kovariaten über eine Lookahead-Token-Strategie und ein 2D-Aufmerksamkeitsgitter, das sowohl zeitliche Dynamiken als auch Querreihen-Korrelationen erfasst. Durch die Verarbeitung von Patches mit 32 Zeitschritten und die Verwendung einer zusammenhängenden Patch-Masking-Technik erreicht das Modell Zero-Shot-Generalisierung ohne aufgabenspezifisches Fine-Tuning und liefert State-of-the-Art-Leistung auf wichtigen Prognose-Benchmarks.

Die Veröffentlichung baut auf dem Erfolg von Times FM und Times FM-2.5 auf und erweitert die Linie der Zeitreihen-Fundamentmodelle von Google AI, um die inhärent multivariate Natur realer Prognoseprobleme anzugehen. Dieser Fortschritt wird voraussichtlich die Einführung in verschiedenen Branchen beschleunigen, vom Einzelhandel und Finanzen bis hin zu Fertigung und Naturwissenschaften.

330 million, 1 trillion, Times FM, Times FM‑2.5, Google AI