Peneliti LAION telah merilis LAION-BVD (Big Video Dataset), korpus video terbuka terbesar untuk penelitian pembelajaran multimodal. Dataset berisi 1,3B URL video khusus platform yang dikumpulkan dari Common Crawl, dari mana 80M video berhasil diunduh dengan total 10 juta jam konten. Dengan deteksi adegan yang sadar akan konten, peneliti mengekstrak klip dan menghasilkan sintetis keterangan video dan audio untuk anotasi.

Model yang dilatih pada LAION-BVD menunjukkan kinerja kompetitif pada benchmark video, audio, dan gambar-teks. Model Video CLIP yang dilatih pada dataset menunjukkan performa yang sama atau melebihi model yang dilatih dengan InternVid hingga 2,1% pada benchmark standar video-teks, dengan peningkatan konsisten saat skala pelatihan meningkat dari 10M menjadi 50M klip. Model CLAP yang dilatih pada dataset mencapai kinerja kompetitif bahasa-audio dengan memanfaatkan lanskap suara liar yang beragam. Selain itu, 300M frame video yang diekstrak menunjukkan distribusi visual yang unik yang berbeda dari korpus gambar web standar, mencapai hasil yang kuat dalam pengambilan gambar-teks.

Dataset dirilis secara eksklusif untuk tujuan penelitian oleh penulis termasuk Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev, dan Matthias Bethge dari lembaga terafiliasi termasuk Tübingen AI Center, LAION, JSC FZJ, Wynd Labs, MPI for Intelligent Systems, dan Teknische Universität München. LAION-BVD bertujuan untuk memperluas akses ke data pelatihan multimodal dan mengaktifkan evaluasi transparan model dasar.

Entitas Utama: Perusahaan: LAION, Tübingen AI Center, JSC FZJ, Wynd Labs, MPI for Intelligent Systems, ELLIS Institute Tübingen, MCML, Teknische Universität München, Common Crawl | Orang: Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Thaddäus Wiedemer, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev, Matthias Bethge | Lokasi: Tübingen, München