LAION গবেষকরা LAION-BVD (বিগ ভিডিও ডেটাসেট) প্রকাশ করেছেন, যা মাল্টিমোডাল লার্নিং গবেষণের জন্য সর্বোচ্চ অ্যাক্সেসযোগ্য ভিডিও কর্পাস। ডেটাসেটে Common Crawl থেকে সংগ্রহ করা 1.3B প্ল্যাটফর্ম-নির্দিষ্ট ভিডিও URL রয়েছে, যার মধ্যে 80M ভিডিও সফলভাবে ডাউনলোড করা হয়েছে, মোট 10 মিলিয়ন ঘন্টা বিষয়বস্তু। বিষয়-সচেতন সিন ডিটেকশন ব্যবহার করে, গবেষকরা ক্লিপ্স বের出した এবং ভিডিও ও অডিও ক্যাপশন সিঙ্কেটিকভাবে তৈরি করেছেন অনুবাদের জন্য।
LAION-BVD-এ প্রশিক্ষিত মডেলস ভিডিও, অডিও এবং ইমেজ-টেক্সট বেঞ্চমার্কে প্রতিযোগিতামূলক কর্মক্ষমতা দেখায়। LAION-BVD-এ প্রশিক্ষিত ভিডিও CLIP মডেলস স্ট্যান্ডার্ড ভিডিও-টেক্সট বেঞ্চমার্কে InternVid-প্রশিক্ষিত মডেলদের সমান বা বেশি করে 2.1% পর্যন্ত, এবং প্রশিক্ষণের স্কেল 10M থেকে 50M ক্লিপে বাড়ার সাথে সাথে ধারাবাহিক উন্নতি দেখা যায়। ডেটাসেটে প্রশিক্ষিত CLAP মডেলস ভিন্ন-ভিন্ন 'ইন-দ-ওয়াইল্ড' সাউন্ডস্কেপ ব্যবহার করে প্রতিযোগিতামূলক অডিও-ভাষা কর্মক্ষমতা অর্জন করে। בנוסף, 300M বের করা ভিডিও ফ্রেমে একটি অনন্য দৃশ্য বিতরণ দেখা যায় যা স্ট্যান্ডার্ড ওয়েব ইমেজ কর্পাস থেকে ভিন্ন, ফলে ইমেজ-টেক্সট পুনরুদ্ধারে দৃঢ় ফলাফল পাওয়া যায়।
ডেটাসেটটি শুধুমাত্র গবেষণের উদ্দেশ্যে প্রকাশিত হয়েছে, যার লেখকরা Tübingen AI Center, LAION, JSC FZJ, Wynd Labs, MPI for Intelligent Systems এবং Technical University Munich থেকে আসেন Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev এবং Matthias Bethge। LAION-BVD-এর লক্ষ্য মাল্টিমোডাল প্রশিক্ষণ ডেটার অ্যাক্সেসকে বাড়ানো এবং ফাউন্ডেশন মডেলের স্পষ্ট মূল্যায়নকে সম্ভব করা।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing