Mistral は、同社初の時系列基盤モデルファミリー「Timestral」を発表しました。2億900万（209M）パラメータの主力モデルは、GIFT-Eval、TIME、fev-bench のベンチマークで首位となり、従来の最先端技術を上回りながら、パラメータ数はその3分の2にとどまります。Timestral は確率的な多変量予測を生成し、過去のみの共変量と既知の未来の共変量の両方に対応しています。
このファミリーは、500万（5M）から2億900万（209M）パラメータまでの4つのサイズで提供され、いずれも予測精度とモデルサイズのパレート最適の境界上に位置しています。280万（28M）パラメータのモデルは、約4倍の規模を持つ Chronos-2 を GIFT-Eval と TIME で上回りました。また、Timestral は推論に GPU を必要としません。標準的なサーバー CPU では、1日先の予測に 5M モデルで 10 ミリ秒、209M モデルで 140 ミリ秒かかります。
時系列データは、センサーのテレメトリから可観測性メトリクスに至るまで企業環境で広く見られ、キャパシティ計画、エネルギー、サプライチェーン、リスク管理、保守などの意思決定を支えています。ARIMA のような従来型モデルは通常、単一の系列に当てはめられ、PatchTST のような深層学習モデルは一般に各データセットごとにゼロから学習されます。一方、基盤モデルは大規模で多様なコーパスからパターンを学習し、系列間で転移できるため、データが乏しい場合でもゼロショット予測を可能にします。
このモデルは、合成データによる事前学習、共変量を考慮したアテンション、長文脈学習を組み合わせており、Mistral Forge を通じて特定の領域向けにファインチューニングできます。結果は GIFT-Eval と TIME のリーダーボードに提出されています。
出典: Hacker News · 要約：HeadlinesBriefing