データは機械学習において最も価値のある要素ですが、タスク固有のデータを収集してラベル付けするのは困難なことが多いものです。手作業での撮影は偏りを生むリスクがあり、サードパーティや事前アノテーションに用いられる視覚言語モデルから得たアノテーションを検証するにもさらに手間がかかります。合成生成データは、設計上あらかじめ正解アノテーションが組み込まれているため、有力な代替手段となります。重要な課題は、合成画像で学習したモデルが実世界のデータに汎化できるかどうかです。
本プロジェクトでは、最先端の事前学習済み特徴抽出器が、合成データのみで学習した軽量なタスクヘッドを実画像に汎化させるほど豊かな表現を生成できるかどうかを検討します。対象領域はカードゲームSETです。プレイヤーは4x3の場に並んだカードの中から三枚one組を探します。その三枚では、形、色、模様、数のそれぞれの特徴がすべて同じか、すべて異なるかのどちらかになっています。これらのカードの検出は、扱いやすい生成問題でありながら、興味深さを保っています。
作者はMetaのDINOv3を選択しました。局所的な特徴抽出に優れ、蒸留された小型版が用意されているためです。ハードウェアの制約を踏まえ、最小の蒸留畳み込みモデルであるConvNeXt Tiny（約2,900万パラメータ）を採用し、バウンディングボックス、キーポイント、セグメンテーションマスク用のタスク固有ヘッドを追加しました。最初のステップとして、本プロジェクトではカードの位置特定のみを行い、種類の分類はまだ行いません。
合成データについては、OpenCVで基本的な図形を描画します。角丸長方形、そして長方形と円の組み合わせによってカードを構成します。手続き的生成により、カードの外観を無制限に制御でき、パラメータを大きく変化させて実写真への転移性能を高めることができます。
出典: Towards Data Science · 要約：HeadlinesBriefing