数据是机器学习中最有价值的部分,但收集和标注特定任务的数据往往十分困难。人工采集可能引入偏差,而验证第三方标注或用于预标注的视觉语言模型的结果又会带来额外工作量。合成生成的数据提供了一种替代方案,因为真实标注在设计时就已内置。关键挑战在于,在合成图像上训练的模型能否泛化到真实世界的数据。
本项目探索一个最先进的预训练特征提取器能否产生丰富的表示,使仅在合成数据上训练的轻量任务头能够泛化到真实图像。所选领域是纸牌游戏SET,玩家需要在4x3的牌阵中找出三张牌组成的组合,其中每个特征(形状、颜色、阴影和数量)在三张牌上要么全部相同,要么全部不同。检测这些纸牌是一个可控的生成问题,同时仍然颇具趣味。
作者选择了Meta公司的DINOv3,因为它具有出色的局部特征提取能力,并且提供了蒸馏后的较小变体。鉴于硬件有限,作者选择了最小的蒸馏卷积模型ConvNeXt Tiny,其参数量约为2900万,并为边界框、关键点或分割掩码添加了特定任务的头部。作为第一步,该项目只定位纸牌,暂不对其类型进行分类。
对于合成数据,作者使用OpenCV绘制基本形状,通过圆角矩形以及矩形与圆形的组合来构建纸牌。程序化生成可以无限地控制纸牌外观,允许对参数进行大幅度变化,从而提升向真实照片的迁移效果。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要