Los investigadores de LAION han publicado LAION-BVD (Big Video Dataset), el corpus de video accesible públicamente más grande para investigación multimodal. Contiene 1.3B URL de video específicas de plataforma recopiladas de Common Crawl, de las cuales se descargaron exitosamente 80M videos, totalizando 10 millones de horas de contenido. Mediante detección de escenas consciente del contenido, se extrajeron clips y se generaron sintéticamente subtítulos de video y audio para anotación.

Los modelos entrenados en LAION-BVD demuestran un rendimiento competitivo en referencia de video, audio y imagen-texto. Los modelos de Video CLIP entrenados en el conjunto de datos igualan o superan a los modelos entrenados con InternVid en hasta un 2.1% en referencia estándar de video-texto, con mejoras consistentes al escalar el entrenamiento de 10M a 50M clips. Los modelos CLAP entrenados en el conjunto de datos alcanzan un rendimiento competitivo de audio-lenguaje aprovechando diversos paisajes sonoros 'in-the-wild'. Además, los 300M fotogramas de video extraídos exhiben una distribución visual única distinta de los corpus estándar de imágenes web, logrando resultados sólidos en recuperación de imagen-texto.

El conjunto de datos se publica exclusivamente para fines de investigación por autores incluyendo a Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev y Matthias Bethge de instituciones afiliadas incluyendo Tübingen AI Center, LAION, JSC FZJ, Wynd Labs, MPI for Intelligent Systems y Technical University Munich. LAION-BVD tiene como objetivo ampliar el acceso a datos de entrenamiento multimodal y permitir la evaluación transparente de modelos fundamentales.

Entidades clave: Empresas: LAION, Tübingen AI Center, JSC FZJ, Wynd Labs, MPI for Intelligent Systems, ELLIS Institute Tübingen, MCML, Technical University Munich, Common Crawl | Personas: Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Thaddäus Wiedemer, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev, Matthias Bethge | Ubicaciones: Tübingen, Munich