Mistral ने Timestral जारी किया है, जो उसके पहले टाइम-सीरीज़ फाउंडेशन मॉडल का परिवार है। प्रमुख मॉडल, जिसमें 209M पैरामीटर हैं, GIFT-Eval, TIME और fev-bench बेंचमार्क पर पहले स्थान पर है और पिछले अत्याधुनिक मॉडल से बेहतर प्रदर्शन करता है, जबकि इसके केवल दो-तिहाई पैरामीटर का उपयोग होता है। Timestral संभाव्यता-आधारित, बहुचर (मल्टीवेरिएट) पूर्वानुमान देता है और केवल अतीत के तथा ज्ञात भविष्य के कोवेरिएट, दोनों का समर्थन करता है।
इस परिवार में चार आकार हैं, 5M से 209M पैरामीटर तक, और प्रत्येक आकार पूर्वानुमान सटीकता बनाम मॉडल आकार के पेरेटो फ्रंट पर है। 28M मॉडल, जो लगभग चार गुना बड़े Chronos-2 से बेहतर है, GIFT-Eval और TIME पर उससे आगे रहता है। Timestral को अनुमान (इनफेरेंस) के लिए GPU की भी आवश्यकता नहीं होती। एक मानक सर्वर CPU पर, 5M मॉडल से एक दिन आगे का पूर्वानुमान 10 मिलीसेकंड और 209M मॉडल से 140 मिलीसेकंड में होता है।
टाइम-सीरीज़ डेटा एंटरप्राइज़ परिवेश में आम है, सेंसर टेलीमेट्री से लेकर ऑब्ज़र्वेबिलिटी मेट्रिक्स तक, और यह क्षमता नियोजन, ऊर्जा, आपूर्ति श्रृंखला, जोखिम और रखरखाव के निर्णयों को आधार देता है। ARIMA जैसे पारंपरिक मॉडल आम तौर पर एक ही श्रृंखला पर फिट किए जाते हैं, जबकि PatchTST जैसे डीप लर्निंग मॉडल हर डेटासेट पर शुरू से प्रशिक्षित किए जाते हैं। इसके विपरीत, फाउंडेशन मॉडल एक बड़े और विविध कॉर्पस से पैटर्न सीखते हैं, जो श्रृंखलाओं के बीच स्थानांतरित होते हैं और जहाँ डेटा कम हो वहाँ भी ज़ीरो-शॉट पूर्वानुमान संभव बनाते हैं।
यह मॉडल सिंथेटिक प्री-ट्रेनिंग, कोवेरिएट-जागरूक अटेंशन और लंबे-संदर्भ (लॉन्ग-कॉन्टेक्स्ट) लर्निंग को मिलाता है, और Mistral Forge के माध्यम से विशिष्ट डोमेन के लिए फाइन-ट्यून किया जा सकता है। परिणाम GIFT-Eval और TIME लीडरबोर्ड पर प्रस्तुत किए गए हैं।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित