Les chercheurs de LAION ont publié LAION-BVD (Big Video Dataset), le plus grand corpus vidéo ouvertement accessible pour la recherche en apprentissage multimodal. Il contient 1,3B URL vidéo spécifiques à la plateforme collectées depuis Common Crawl, dont 80M vidéos ont été téléchargées avec succès, totalisant 10 millions d'heures de contenu. Grâce à la détection de scènes consciente du contenu, les chercheurs ont extrait des extraits et généré synthétiquement des légendes vidéo et audio pour l'annotation.

Les modèles entraînés sur LAION-BVD démontrent des performances compétitives sur les références vidéo, audio et image-texte. Les modèles Video CLIP entraînés sur le jeu de données égalent ou dépassent les modèles formés sur InternVid jusqu'à 2,1 % sur les références standard vidéo-texte, avec des améliorations constantes lorsque l'échelle d'entraînement passe de 10M à 50M extraits. Les modèles CLAP entraînés sur le jeu de données atteignent des performances compétitives en audio-langue en exploitant divers paysages sonores 'in-the-wild'. De plus, 300M trames vidéo extraites présentent une distribution visuelle unique distincte des corpus standards d'images web, obtenant de solides résultats en récupération image-texte.

Le jeu de données est publié exclusivement à des fins de recherche par des auteurs incluant Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev et Matthias Bethge provenant d'institutions affiliées telles que le Tübingen AI Center, LAION, JSC FZJ, Wynd Labs, MPI for Intelligent Systems et l'Université technique de Munich. LAION-BVD vise à élargir l'accès aux données d'entraînement multimodal et à permettre une évaluation transparente des modèles de fondation.

Entités clés : Entreprises : LAION, Tübingen AI Center, JSC FZJ, Wynd Labs, MPI for Intelligent Systems, ELLIS Institute Tübingen, MCML, Université technique de Munich, Common Crawl | Personnes : Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Thaddäus Wiedemer, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev, Matthias Bethge | Lieux : Tübingen, Munich