Les données sont la partie la plus précieuse de l'apprentissage automatique, mais collecter et étiqueter des données propres à une tâche est souvent difficile. La capture manuelle risque d'introduire des biais, et la vérification des annotations de tiers ou des modèles vision-langage utilisés pour le pré-étiquetage ajoute encore du travail. Les données générées synthétiquement offrent une alternative, car les annotations de référence sont intégrées par conception. Le principal défi est de savoir si les modèles entraînés sur des images synthétiques peuvent généraliser aux données du monde réel.
Ce projet explore si un extracteur de caractéristiques pré-entraîné de pointe peut produire des représentations riches permettant à des têtes de tâche légères, entraînées uniquement sur des données synthétiques, de généraliser aux images réelles. Le domaine choisi est le jeu de cartes SET, où les joueurs recherchent des triplets de cartes dans une grille de 4x3 où chaque caractéristique (forme, couleur, ombrage et nombre) est identique ou différente sur les trois cartes. Détecter ces cartes est un problème de génération maîtrisable qui reste passionnant.
L'auteur a retenu DINOv3 de Meta pour son extraction de caractéristiques localisées performante et ses variantes plus petites distillées. Compte tenu d'un matériel limité, le plus petit modèle convolutif distillé, ConvNeXt Tiny, d'environ 29 M de paramètres, a été choisi, avec des têtes spécifiques ajoutées pour les boîtes englobantes, les points-clés ou les masques de segmentation. Dans un premier temps, le projet localise les cartes sans encore en classifier le type.
Pour les données synthétiques, OpenCV dessine des formes de base : les cartes sont construites à partir de rectangles aux coins arrondis et de compositions de rectangles et de cercles. La génération procédurale offre un contrôle illimité sur l'apparence des cartes, permettant de faire varier largement les paramètres pour améliorer le transfert vers des photographies réelles.
Source: Towards Data Science · Résumé par HeadlinesBriefing