Um novo benchmark chamado Vision Q pede que modelos de IA avaliem imagens de visão computacional com base em uma única qualidade específica, como a nitidez das bordas. Os autores testaram 20 modelos de IA atuando como juízes. O melhor acertou 63,1 por cento das vezes, um pouco menos de duas em cada três. O chute aleatório acertaria 32,2 por cento das vezes. O melhor modelo é claramente superior ao acaso, mas ainda erra mais de um terço das vezes.
Essa diferença é o motivo deste artigo. Se o melhor juiz de IA comete tantos erros, você deve testar o seu próprio juiz antes de confiar nele. Esses resultados também importam fora do laboratório, porque as pessoas já pedem a assistentes de IA que olhem fotos e respondam. Imagine enviar duas fotos de uma caixa de remédio e perguntar quanto tomar, e depois enviá-las na ordem inversa. Se a resposta mudar, você precisa saber se o rótulo era difícil de ler ou se a ordem das imagens afetou o resultado.
O autor verificou se a ordem das imagens poderia afetar as respostas do modelo. Em um teste, mostrou-se duas imagens ao Claude e perguntou-se qual tinha menos artefatos de compressão. Em 24 tentativas, o Claude escolheu a segunda imagem em 23 delas, independentemente do conteúdo. Isso sugere um forte viés de posição, embora o resultado venha das imagens de teste do próprio autor e possa não valer para todos os tipos de imagem.
Em seguida, o autor montou um teste menor com imagens originais, em que cada par diferia por uma única alteração conhecida, e registrou cada resposta no Weights & Biases. O objetivo era um script curto que verificasse três coisas em um juiz de imagens: se ele observa o detalhe que você pede, se favorece a primeira ou a segunda imagem e se inventa uma resposta.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing