Mistral telah merilis Timestral, keluarga model fondasi deret waktu pertamanya. Model unggulan dengan 209 juta (209M) parameter menempati peringkat pertama di benchmark GIFT-Eval, TIME, dan fev-bench, mengungguli kinerja terbaik sebelumnya dengan hanya menggunakan dua pertiga parameternya. Timestral menghasilkan prakiraan probabilistik dan multivariat, serta mendukung kovariat yang hanya diketahui dari masa lalu maupun yang diketahui untuk masa depan.
Keluarga ini hadir dalam empat ukuran, dari 5 juta (5M) hingga 209 juta (209M) parameter, dan setiap ukuran berada pada kurva Pareto antara akurasi prakiraan dan ukuran model. Model 28 juta (28M) mengungguli Chronos-2, yang sekitar empat kali lebih besar, pada GIFT-Eval dan TIME. Timestral juga tidak memerlukan GPU saat inferensi. Pada CPU server standar, prakiraan satu hari ke depan membutuhkan waktu 10 ms dengan model 5M dan 140 ms dengan model 209M.
Data deret waktu lazim ditemui di lingkungan perusahaan, mulai dari telemetri sensor hingga metrik observabilitas, dan menjadi dasar keputusan dalam perencanaan kapasitas, energi, rantai pasok, manajemen risiko, dan pemeliharaan. Model klasik seperti ARIMA biasanya dilatih pada satu deret, sedangkan model pembelajaran mendalam seperti PatchTST umumnya dilatih dari awal pada setiap dataset. Model fondasi, sebaliknya, mempelajari pola dari korpus besar dan beragam yang dapat ditransfer antar-deret, sehingga memungkinkan peramalan zero-shot bahkan ketika data terbatas.
Model ini memadukan pra-pelatihan sintetis, atensi yang memperhatikan kovariat, dan pembelajaran konteks panjang, serta dapat disesuaikan (fine-tuning) untuk domain tertentu melalui Mistral Forge. Hasilnya telah dikirimkan ke papan peringkat GIFT-Eval dan TIME.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing