Daten sind der wertvollste Bestandteil des maschinellen Lernens, doch das Sammeln und Beschriften aufgabenspezifischer Daten ist oft schwierig. Manuelle Aufnahmen bergen das Risiko, Verzerrungen einzuführen, und die Überprüfung von Annotationen Dritter oder von Vision-Language-Modellen, die zur Vorannotation eingesetzt werden, verursacht zusätzlichen Aufwand. Synthetisch erzeugte Daten bieten eine Alternative, da die Ground-Truth-Annotationen bereits durch das Design eingebaut sind. Die zentrale Herausforderung besteht darin, ob Modelle, die mit synthetischen Bildern trainiert wurden, auf reale Daten generalisieren können.
Dieses Projekt untersucht, ob ein moderner, vortrainierter Merkmalsextraktor reichhaltige Repräsentationen erzeugen kann, die es leichten Task-Köpfen, die ausschließlich mit synthetischen Daten trainiert wurden, ermöglichen, auf echte Bilder zu generalisieren. Die gewählte Domäne ist das Kartenspiel SET, bei dem Spieler Dreiergruppen von Karten in einem 4x3-Feld finden müssen, in denen jedes Merkmal (Form, Farbe, Schraffur und Anzahl) bei allen drei Karten entweder gleich oder verschieden ist. Das Erkennen dieser Karten ist ein überschaubares Generierungsproblem, das dennoch spannend bleibt.
Der Autor wählte DINOv3 von Meta wegen seiner starken Extraktion lokalisierter Merkmale und seiner destillierten kleineren Varianten. Angesichts begrenzter Hardware wurde das kleinste destillierte Faltungsmodell gewählt, ConvNeXt Tiny mit etwa 29 Mio. Parametern, ergänzt um aufgabenspezifische Köpfe für Begrenzungsrahmen, Schlüsselpunkte oder Segmentierungsmasken. Als ersten Schritt lokalisiert das Projekt die Karten, ohne ihren Typ bereits zu klassifizieren.
Für die synthetischen Daten zeichnet OpenCV einfache Formen: Die Karten werden aus abgerundeten Rechtecken und Kombinationen aus Rechtecken und Kreisen aufgebaut. Die prozedurale Generierung bietet unbegrenzte Kontrolle über das Erscheinungsbild der Karten und erlaubt es, Parameter breit zu variieren, um die Übertragung auf echte Fotos zu verbessern.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing