LAION शोधकर्ताओं ने LAION-BVD (बिग वीडियो डेटासेट) जारी किया है, जो मल्टीमोडल लर्निंग रिसर्च के लिए सबसे बड़ा खुले तक पहुंच योग्य वीडियो कॉर्पस है। डेटासेट में Common Crawl से एकत्र किए गए 1.3B प्लेटफ़ॉर्म-विशिष्ट वीडियो URL शामिल हैं, जिनमें से 80M वीडियो सफलतापूर्वक डाउनलोड किए गए, कुल 10 मिलियन घंटे की सामग्री। सामग्री-जागरूक सीन डिटेक्शन का उपयोग करके, शोधकर्ताओं ने क्लिप्स निकाले और वीडियो और ऑडियो कैप्शन सिंथेटिक रूप से उत्पन्न किए ताकि एनोटेशन के लिए उपयोग किया जा सके।
LAION-BVD पर प्रशिक्षित मॉडल वीडियो, ऑडियो और इमेज-टेक्स्ट बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन दिखाते हैं। वीडियो CLIP मॉडल जो LAION-BVD पर प्रशिक्षित हैं, मानक वीडियो-टेक्स्ट बेंचमार्क पर InternVid-प्रशिक्षित मॉडल से मेल खाते हैं या उन्हें 2.1% तक पार करते हैं, और जैसे-जैसे प्रशिक्षण 10M से 50M क्लिप्स तक स्केल होता है, सुधार स्थिर रहता है। LAION-BVD पर प्रशिक्षित CLAP मॉडल विविध इन-द-वाइल्ड साउंडस्केप्स का उपयोग करके प्रतिस्पर्धी ऑडियो-लैंग्वेज प्रदर्शन हासिल करते हैं। साथ ही, 300M निकाले गए वीडियो फ्रेम एक अद्वितीय विज़ुअल वितरण दिखाते हैं जो मानक वेब इमेज कॉर्पस से अलग है, जिससे इमेज-टेक्स्ट पुनर्प्राप्ति में मजबूत परिणाम मिलते हैं।
डेटासेट केवल अनुसंधान उद्देश्यों के लिए लेखकों द्वारा जारी किया गया है जिनमें Tübingen AI Center, LAION, JSC FZJ, Wynd Labs, MPI for Intelligent Systems और Technical University Munich से संबंधित Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev और Matthias Bethge शामिल हैं। LAION-BVD का उद्देश्य मल्टीमोडल ट्रेनिंग डेटा तक पहुंच को व्यापक बनाना और फाउंडेशन मॉडल्स की पारदर्शी मूल्यांकन को सक्षम बनाना है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित