Компания Mistral выпустила Timestral — первое семейство фундаментальных моделей для временных рядов. Флагманская модель с 209 млн параметров занимает первое место в бенчмарках GIFT-Eval, TIME и fev-bench, превосходя предыдущий уровень развития технологии при использовании всего двух третей его параметров. Timestral формирует вероятностные многомерные прогнозы и поддерживает как ковариаты, известные только из прошлого, так и ковариаты с известным будущим.
Семейство включает четыре размера — от 5 млн до 209 млн параметров, и каждый из них находится на границе Парето между точностью прогноза и размером модели. Модель на 28 млн параметров превосходит Chronos-2, который примерно в четыре раза крупнее, в GIFT-Eval и TIME. Кроме того, Timestral не требует GPU для инференса. На стандартном серверном CPU прогноз на один день вперёд занимает 10 мс у модели на 5 млн параметров и 140 мс у модели на 209 млн.
Данные временных рядов широко распространены в корпоративной среде — от телеметрии датчиков до метрик наблюдаемости — и лежат в основе решений по планированию мощностей, энергетике, цепочкам поставок, управлению рисками и техобслуживанию. Классические модели, такие как ARIMA, обычно подбираются под один ряд, а модели глубокого обучения, например PatchTST, как правило, обучаются с нуля на каждом наборе данных. Фундаментальные модели, напротив, извлекают закономерности из большого и разнообразного корпуса, которые переносятся между рядами и позволяют делать прогноз без дополнительного обучения даже при нехватке данных.
Модель объединяет синтетическое предобучение, механизм внимания с учётом ковариат и обучение на длинном контексте, а также может быть дообучена под конкретные предметные области с помощью Mistral Forge. Результаты переданы в таблицы лидеров GIFT-Eval и TIME.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing