Un nouveau benchmark appelé Vision Q demande aux modèles d'IA d'évaluer des images de vision par ordinateur selon une seule qualité précise, comme la netteté des contours. Les auteurs ont testé 20 modèles d'IA jouant le rôle de juges. Le meilleur avait raison dans 63,1 % des cas, un peu moins de deux fois sur trois. Une réponse au hasard aurait été juste dans 32,2 % des cas. Le meilleur modèle fait clairement mieux que le hasard, mais il se trompe encore plus d'un tiers du temps.
C'est cet écart qui motive cet article. Si le meilleur juge IA commet autant d'erreurs, vous devriez tester votre propre juge avant de lui faire confiance. Ces scores comptent aussi hors du laboratoire, car des personnes demandent déjà aux assistants IA d'examiner des photos et de répondre. Imaginez que vous envoyiez deux photos d'une boîte de médicaments en demandant la dose à prendre, puis que vous les envoyiez dans l'ordre inverse. Si la réponse change, vous devez savoir si l'étiquette était difficile à lire ou si l'ordre des images a influencé le résultat.
L'auteur a vérifié si l'ordre des images pouvait affecter les réponses d'un modèle. Dans un test, Claude a reçu deux images et on lui a demandé laquelle comportait moins d'artefacts de compression. Sur 24 essais, Claude a choisi la seconde image dans 23 cas, quel que soit le contenu. Cela suggère un fort biais de position, même si le résultat provient des images de test de l'auteur et pourrait ne pas se vérifier pour tous les types d'images.
L'auteur a ensuite construit un test plus petit à partir d'images originales, chaque paire ne différant que par une modification connue, et a enregistré chaque réponse dans Weights & Biases. L'objectif était un court script vérifiant trois points pour un juge d'images : s'il examine le détail demandé, s'il privilégie la première ou la seconde image, et s'il invente une réponse.
Source: Towards Data Science · Résumé par HeadlinesBriefing