Данные — самая ценная часть машинного обучения, однако сбор и разметка данных под конкретную задачу часто бывают трудными. Ручная съёмка рискует внести смещение, а проверка аннотаций от сторонних исполнителей или от моделей «зрение-язык», применяемых для предварительной разметки, требует дополнительных усилий. Синтетически сгенерированные данные предлагают альтернативу, поскольку эталонные аннотации изначально встроены в них. Ключевой вопрос в том, способны ли модели, обученные на синтетических изображениях, обобщаться на данные реального мира.
В этом проекте исследуется, может ли современный предобученный экстрактор признаков создавать богатые представления, которые позволяют легковесным головам задач, обученным только на синтетических данных, обобщаться на реальные изображения. Выбранная область — карточная игра SET, в которой игроки ищут тройки карт на поле 4x3, где каждый признак (форма, цвет, штриховка и количество) у всех трёх карт либо одинаков, либо различен. Обнаружение этих карт — управляемая задача генерации, которая при этом остаётся интересной.
Автор выбрал DINOv3 от Meta за сильное извлечение локализованных признаков и его дистиллированные меньшие варианты. С учётом ограниченного железа была выбрана наименьшая дистиллированная свёрточная модель ConvNeXt Tiny примерно с 29 млн параметров, с добавлением специализированных голов для ограничивающих рамок, ключевых точек или масок сегментации. На первом этапе проект локализует карты, но пока не классифицирует их тип.
Для синтетических данных OpenCV рисует базовые фигуры: карты строятся из прямоугольников со скруглёнными углами и составных фигур из прямоугольников и кругов. Процедурная генерация даёт неограниченный контроль над внешним видом карт, позволяя широко варьировать параметры для лучшего переноса на настоящие фотографии.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing