LAION-Forscher haben LAION-BVD (Big Video Dataset) veröffentlicht, den größten öffentlich zugänglichen Videokorpus für multimodales Lernforschung. Der Datensatz enthält 1,3B plattformspezifische Video-URLs, die aus Common Crawl gesammelt wurden, von denen 80M Videos erfolgreich heruntergeladen wurden, insgesamt 10 Millionen Stunden Inhalt. Mit inhaltssensitiver Szenenerkennung extrahierten Forscher Clips und generierten synthetisch Video- und Audio-Untertitel für die Annotation.

Auf LAION-BVD trainierte Modelle zeigen wettbewerbsfähige Leistung in Video-, Audio- und Bild-Text-Benchmarks. Video-CLIP-Modelle, die auf dem Datensatz trainiert wurden, erreichen oder übertreffen InternVid-ge trainierte Modelle bei Standard-Video-Text-Benchmarks um bis zu 2,1 %, mit konsistenten Verbesserungen bei Skalierung des Trainings von 10M auf 50M Clips. Auf dem Datensatz trainierte CLAP-Modelle erzielen wettbewerbsfähige Audio-Sprachleistung durch Nutzung vielfältiger realer Klanglandschaften. Zusätzlich zeigen 300M extrahierte Videoframes eine einzigartige visuelle Verteilung, die sich von Standard-Web-Bildkorpora unterscheidet und starke Ergebnisse bei Bild-Text-Abruf erzielt.

Der Datensatz wird ausschließlich zu Forschungszwecken von Autoren einschließlich Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev und Matthias Bethge von verbundenen Institutionen wie Tübingen AI Center, LAION, JSC FZJ, Wynd Labs, MPI for Intelligent Systems und Technische Universität München veröffentlicht. LAION-BVD zielt darauf ab, den Zugang zu multimodalen Trainingsdaten zu erweitern und eine transparente Evaluation von Foundation-Modellen zu ermöglichen.

Wichtige Entitäten: Unternehmen: LAION, Tübingen AI Center, JSC FZJ, Wynd Labs, MPI for Intelligent Systems, ELLIS Institute Tübingen, MCML, Technische Universität München, Common Crawl | Personen: Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Thaddäus Wiedemer, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev, Matthias Bethge | Orte: Tübingen, München