أطلق باحثو LAION مجموعة بيانات LAION-BVD (مجموعة بيانات الفيديو الكبيرة)، أكبر مجموعة فيديو مفتوحة الوصول للبحث في التعلم المتعدد الوسائط. تحتوي المجموعة على 1.3B رابط فيديو خاص بالمنصة تم جمعه من Common Crawl، من بينها تم تنزيل 80M فيديو بنجاح بإجمالي 10 ملايين ساعة من المحتوى. باستخدام كشف المشاهد الواعي بالمحتوى، استخرج الباحثون المقاطع وقاموا بإنشاء ترجمات فيديو وصوتية بشكل صناعي للتوضيح.

تُظهر النماذج المدربة على LAION-BVD أداءً تنافسيًا عبر معايير الفيديو والصوت والنص-الصورة. تتطابق نماذج Video CLIP المدربة على المجموعة أو تتفوق على النماذج المدربة بـ InternVid في معايير الفيديو-النص القياسية بنسبة تصل إلى 2.1%، مع تحسينات متسقة عند توسيع التدريب من 10M إلى 50M مقطع. تحقق نماذج CLAP المدربة على المجموعة أداءً تنافسيًا للغة والصوت باستخدام مساحات صوتية متنوعة من العالم الحقيقي. بالإضافة إلى ذلك، تُظهر 300M إطار فيديو مستخرج توزيعًا بصريًا فريدًا مميزًا عن مجموعات الصور الويب القياسية، مما يحقق نتائج قوية في استرجاع النص-الصورة.

تُصدر المجموعة حصرًا لأغراض البحث من قبل مؤلفين بما في ذلك Marianna Nezhurina، Mehdi Cherti، Andrej Radonjic، Christoph Schuhmann، Romain Beaumont، Wieland Brendel، Bernhard Schölkopf، A. Sophia Koepke، Jenia Jitsev، وMatthias Bethge من مؤسسات تابعة تشمل مركز Tübingen للذكاء الاصطناعي، LAION، JSC FZJ، Wynd Labs، MPI للأنظمة الذكية، وجامعة ميونخ التقنية. يهدف LAION-BVD إلى توسيع الوصول إلى بيانات تدريب متعددة الوسائط وتمكين التقييم الشفاف لنماذج الأساس.

الكيانات الرئيسية: الشركات: LAION، مركز Tübingen للذكاء الاصطناعي، JSC FZJ، Wynd Labs، MPI للأنظمة الذكية، معهد ELLIS Tübingen، MCML، جامعة ميونخ التقنية، Common Crawl | الأشخاص: Marianna Nezhurina، Mehdi Cherti، Andrej Radonjic، Thaddäus Wiedemer، Christoph Schuhmann، Romain Beaumont، Wieland Brendel، Bernhard Schölkopf، A. Sophia Koepke، Jenia Jitsev، Matthias Bethge | المواقع: Tübingen، ميونخ