Mistral Timestral প্রকাশ করেছে, যা তাদের প্রথম টাইম-সিরিজ ফাউন্ডেশন মডেলের পরিবার। প্রধান মডেলটি, যার ২০৯ মিলিয়ন (209M) প্যারামিটার রয়েছে, GIFT-Eval, TIME ও fev-bench বেঞ্চমার্কে প্রথম স্থান অধিকার করেছে এবং পূর্ববর্তী সর্বোচ্চ মানকে ছাড়িয়ে গেছে, অথচ এর প্যারামিটার সংখ্যা মাত্র দুই-তৃতীয়াংশ। Timestral সম্ভাব্যতাভিত্তিক, বহু-চলকযুক্ত পূর্বাভাস তৈরি করে এবং শুধু অতীতের এবং জানা ভবিষ্যতের উভয় ধরনের কোভ্যারিয়েটই সমর্থন করে।
এই পরিবারে চারটি আকার রয়েছে, ৫ মিলিয়ন থেকে ২০৯ মিলিয়ন প্যারামিটার পর্যন্ত, এবং প্রতিটি আকার পূর্বাভাসের নির্ভুলতা বনাম মডেলের আকারের প্যারেটো ফ্রন্টে অবস্থান করে। ২৮ মিলিয়নের মডেলটি প্রায় চার গুণ বড় Chronos-2-কে GIFT-Eval ও TIME-এ ছাড়িয়ে যায়। এছাড়া Timestral ইনফারেন্সের জন্য GPU-এর প্রয়োজন হয় না। একটি স্ট্যান্ডার্ড সার্ভার CPU-তে, ৫ মিলিয়ন মডেলে এক দিন আগাম পূর্বাভাসে সময় লাগে ১০ মিলিসেকেন্ড এবং ২০৯ মিলিয়ন মডেলে ১৪০ মিলিসেকেন্ড।
টাইম-সিরিজ ডেটা এন্টারপ্রাইজ পরিবেশে সাধারণ, সেন্সর টেলিমেট্রি থেকে অবজারভেবিলিটি মেট্রিক পর্যন্ত, এবং ক্যাপাসিটি পরিকল্পনা, জ্বালানি, সরবরাহ শৃঙ্খল, ঝুঁকি ও রক্ষণাবেক্ষণের সিদ্ধান্তে ভূমিকা রাখে। ARIMA-এর মতো ক্লাসিক্যাল মডেল সাধারণত একটি একক সিরিজে ফিট করা হয়, আর PatchTST-এর মতো ডিপ লার্নিং মডেল সাধারণত প্রতিটি ডেটাসেটে শুরু থেকে প্রশিক্ষিত হয়। অন্যদিকে ফাউন্ডেশন মডেল একটি বড় ও বৈচিত্র্যময় কর্পাস থেকে প্যাটার্ন শেখে, যা সিরিজের মধ্যে স্থানান্তরিত হয় এবং ডেটা কম থাকলেও জিরো-শট পূর্বাভাস সম্ভব করে।
মডেলটি সিনথেটিক প্রি-ট্রেনিং, কোভ্যারিয়েট-সচেতন অ্যাটেনশন ও দীর্ঘ-প্রসঙ্গ শিক্ষার সমন্বয় ঘটায় এবং Mistral Forge-এর মাধ্যমে নির্দিষ্ট ডোমেনের জন্য ফাইন-টিউন করা যায়। ফলাফল GIFT-Eval ও TIME লিডারবোর্ডে জমা দেওয়া হয়েছে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing