TimesFM-3 引入了一个用于多变量时间序列预测的零样本基础模型，支持多个目标、过去和动态协变量，以及协同演化序列的联合预测。该模型拥有 3.3 亿参数，在超过 1 万亿个时间点上进行预训练，在零售、金融、医疗保健和其他领域的基准测试中均优于先前的单变量模型。该仅解码器 Transformer 采用基于补丁的标记化、逐序列归一化和交替注意力架构，将因果时间注意力与完整变量注意力相结合。这使得单次非自回归解码成为可能，在处理复杂的真实场景（如利用促销和天气等辅助数据预测冰淇淋销量）时，提高了效率和准确性。TimesFM-3 标志着从严格的单变量预测向原生多变量预测的转变，扩大了在生产环境中的适用性和采用率。
主要创新包括支持多目标（点预测和分位数预测）、通过前瞻标记策略纳入过去和未来的协变量，以及一个能同时捕捉时间动态和跨序列相关性的二维注意力网格。通过处理 32 个时间步长的补丁并使用连续补丁掩码技术，该模型无需针对特定任务的微调即可实现零样本泛化，在主要预测基准测试中实现了最先进的性能。
此版本建立在 Times FM 和 Times FM-2.5 成功的基础上，将 Google AI 的时间序列基础模型谱系扩展至解决现实世界预测问题固有的多变量特性。这一进展预计将加速在零售、金融、制造和自然科学等不同行业的采用。
3.3 亿、1 万亿、Times FM、Times FM-2.5、Google AI
来源: Google AI Blog · 由HeadlinesBriefing整理摘要