Исследователи LAION выпустили LAION-BVD (Big Video Dataset) — крупнейший открыто доступный видеокорпус для исследований в области мультимодального обучения. Набор данных содержит 1,3 млрд платформоспецифичных URL видео, собранных из Common Crawl, из которых успешно загружено 80 млн видео, общей продолжительностью 10 миллионов часов контента. С использованием контент-ориентированного обнаружения сцен исследователи извлекли клипы и синтетически сгенерировали видео- и аудиоподписи для аннотации.
Модели, обученные на LAION-BVD, демонстрируют конкурентоспособные результаты в бенчмарках по видео, аудио и изображению-тексту. Видео-CLIP модели, обученные на наборе данных, соответствуют или превосходят модели, обученные на InternVid, на стандартных бенчмарках видео-текст до 2,1%, с последовательным улучшением при масштабировании обучения от 10 млн до 50 млн клипов. Модели CLAP, обученные на наборе данных, достигают конкурентоспособной производительности в области аудио-языка, используя разнообразные реальные звуковые ландшафты. Кроме того, 300 млн извлеченных кадров видео демонстрируют уникальное визуальное распределение, отличное от стандартных веб-изображений, обеспечивая сильные результаты в задачах поиска изображений по тексту.
Набор данных выпущен исключительно в исследовательских целях авторами, включая Mariannu Nezhurinu, Mehdi Cherti, Andrej Radonjic, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev и Matthias Bethge из affiliated учреждений, включая Tübingen AI Center, LAION, JSC FZJ, Wynd Labs, MPI for Intelligent Systems и Технический университет Мюнхена. LAION-BVD направлен на расширение доступа к мультимодальным обучающим данным и обеспечение прозрачной оценки фундаментальных моделей.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing