LAIONの研究者らは、マルチモーダル学習研究のための最大の公開アクセス可能なビデオコーパスであるLAION-BVD（Big Video Dataset）をリリースしました。データセットにはCommon Crawlから収集されたプラットフォーム固有のビデオURLが1.3B含まれており、そのうち80Mのビデオが正常にダウンロードされ、合計1000万時間のコンテンツとなっています。コンテンツ認識シーン検出を使用して、研究者はクリップを抽出し、ビデオおよびオーディオのキャプションを合成的に生成してアノテーションを行いました。

LAION-BVDで訓練されたモデルは、ビデオ、オーディオ、および画像-テキストベンチマークにおいて競争力のあるパフォーマンスを示します。LAION-BVDで訓練されたビデオCLIPモデルは、標準のビデオ-テキストベンチマークにおいてInternVidで訓練されたモデルと同等またはそれを上回る性能を発揮し、最大で2.1%の向上を達成します。トレーニングスケールが10Mから50Mクリップに拡大するにつれて、一貫した改善が見られます。データセットで訓練されたCLAPモデルは、多様な野生のサウンドスケープを活用して競争力のあるオーディオ-言語パフォーマンスを達成します。さらに、300Mの抽出されたビデオフレームは、標準のウェブ画像コーパスとは異なる独自の視覚分布を示し、画像-テキスト検索タスクで強力な結果を示しています。

このデータセットは、Tübingen AI Center、LAION、JSC FZJ、Wynd Labs、MPI for Intelligent Systems、およびミュンヘン工科大学に所属するMarianna Nezhurina、Mehdi Cherti、Andrej Radonjic、Christoph Schuhmann、Romain Beaumont、Wieland Brendel、Bernhard Schölkopf、A. Sophia Koepke、Jenia Jitsev、およびMatthias Bethgeなどの著者によって、研究目的のみでリリースされています。LAION-BVDは、マルチモーダル訓練データへのアクセスを拡大し、基盤モデルの透明な評価を可能にすることを目的としています。

主要なエンティティ: 企業: LAION、Tübingen AI Center、JSC FZJ、Wynd Labs、MPI for Intelligent Systems、ELLIS Institute Tübingen、MCML、ミュンヘン工科大学、Common Crawl | 人物: Marianna Nezhurina、Mehdi Cherti、Andrej Radonjic、Thaddäus Wiedemer、Christoph Schuhmann、Romain Beaumont、Wieland Brendel、Bernhard Schölkopf、A. Sophia Koepke、Jenia Jitsev、Matthias Bethge | 場所: Tübingen、ミュンヘン