Os dados são a parte mais valiosa do aprendizado de máquina, mas coletar e rotular dados específicos para uma tarefa costuma ser difícil. A captura manual corre o risco de introduzir viés, e verificar anotações de terceiros ou de modelos de visão e linguagem usados na pré-anotação acrescenta esforço extra. Dados gerados sinteticamente oferecem uma alternativa, pois as anotações de verdade fundamental vêm embutidas por design. O principal desafio é saber se modelos treinados com imagens sintéticas conseguem generalizar para dados do mundo real.
Este projeto explora se um extrator de características pré-treinado de última geração pode produzir representações ricas que permitam a cabeças de tarefa leves, treinadas somente com dados sintéticos, generalizar para imagens reais. O domínio escolhido é o jogo de cartas SET, no qual os jogadores procuram trios de cartas em um campo de 4x3 em que cada característica (forma, cor, sombreamento e quantidade) é idêntica ou diferente nas três cartas. Detectar essas cartas é um problema de geração administrável que continua envolvente.
O autor escolheu o DINOv3 da Meta por sua forte extração de características localizadas e suas variantes menores destiladas. Considerando o hardware limitado, foi escolhido o menor modelo convolucional destilado, o ConvNeXt Tiny, com cerca de 29 milhões de parâmetros, com cabeças específicas para caixas delimitadoras, pontos-chave ou máscaras de segmentação. Como primeiro passo, o projeto localiza as cartas sem ainda classificar seu tipo.
Para os dados sintéticos, o OpenCV desenha formas básicas, construindo cartas a partir de retângulos arredondados e composições de retângulos e círculos. A geração procedural oferece controle ilimitado sobre a aparência das cartas, permitindo variar os parâmetros amplamente para melhorar a transferência para fotografias reais.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing