Pesquisadores da LAION lançaram o LAION-BVD (Big Video Dataset), o maior corpus de vídeo abertamente acessível para pesquisa em aprendizado multimodal. O conjunto de dados contém 1,3B URLs de vídeo específicas de plataforma coletadas do Common Crawl, das quais 80M vídeos foram baixados com sucesso, totalizando 10 milhões de horas de conteúdo. Usando detecção de cenas consciente do conteúdo, os pesquisadores extraíram clipes e geraram sinteticamente legendas de vídeo e áudio para anotação.

Modelos treinados no LAION-BVD demonstram desempenho competitivo em benchmarks de vídeo, áudio e imagem-texto. Modelos de Video CLIP treinados no conjunto de dados igualam ou superam os modelos treinados com InternVid em até 2,1% em benchmarks padrão de vídeo-texto, com melhorias consistentes conforme o treinamento escala de 10M para 50M clipes. Modelos CLAP treinados no conjunto de dados alcançam desempenho competitivo de áudio-língua aproveitando diversos paisagens sonoras 'in-the-wild'. Além disso, 300M quadros de vídeo extraídos exibem uma distribuição visual única distinta de corpos padrão de imagens da web, obtendo resultados fortes em recuperação de imagem-texto.

O conjunto de dados é lançado exclusivamente para fins de pesquisa por autores incluindo Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev e Matthias Bethge de instituições afiliadas incluindo Tübingen AI Center, LAION, JSC FZJ, Wynd Labs, MPI for Intelligent Systems e Universidade Técnica de Munique. O LAION-BVD visa ampliar o acesso a dados de treinamento multimodal e permitir a avaliação transparente de modelos de base.

Entidades-chave: Empresas: LAION, Tübingen AI Center, JSC FZJ, Wynd Labs, MPI for Intelligent Systems, ELLIS Institute Tübingen, MCML, Universidade Técnica de Munique, Common Crawl | Pessoas: Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Thaddäus Wiedemer, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev, Matthias Bethge | Locais: Tübingen, Munique