Los datos son la parte más valiosa del aprendizaje automático, pero recopilar y etiquetar datos específicos para una tarea suele ser difícil. La captura manual corre el riesgo de introducir sesgos, y verificar las anotaciones de terceros o de los modelos de visión y lenguaje usados para la preanotación añade más esfuerzo. Los datos generados sintéticamente ofrecen una alternativa, ya que las anotaciones de verdad fundamental vienen integradas por diseño. El desafío clave es si los modelos entrenados con imágenes sintéticas pueden generalizar a datos del mundo real.
Este proyecto explora si un extractor de características preentrenado de última generación puede producir representaciones ricas que permitan que cabezas de tarea ligeras, entrenadas únicamente con datos sintéticos, generalicen a imágenes reales. El dominio elegido es el juego de cartas SET, en el que los jugadores buscan tríos de cartas en un campo de 4x3 donde cada característica (forma, color, sombreado y cantidad) es idéntica o diferente en las tres cartas. Detectar estas cartas es un problema de generación manejable que sigue siendo interesante.
El autor seleccionó DINOv3 de Meta por su sólida extracción de características localizadas y sus variantes más pequeñas destiladas. Dados los recursos de hardware limitados, se eligió el modelo convolucional destilado más pequeño, ConvNeXt Tiny, con unos 29 millones de parámetros, al que se añadieron cabezas específicas para cajas delimitadoras, puntos clave o máscaras de segmentación. Como primer paso, el proyecto localiza las cartas sin clasificar todavía su tipo.
Para los datos sintéticos, OpenCV dibuja formas básicas: las cartas se construyen con rectángulos redondeados y composiciones de rectángulos y círculos. La generación procedimental ofrece control ilimitado sobre la apariencia de las cartas, lo que permite variar ampliamente los parámetros para mejorar la transferencia a fotografías reales.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing