Un nuevo benchmark llamado Vision Q pide a los modelos de IA que juzguen imágenes de visión artificial según una cualidad concreta, como la nitidez de los bordes. Los autores probaron 20 modelos de IA actuando como jueces. El mejor acertó el 63,1 por ciento de las veces, un poco menos de dos de cada tres. Adivinar al azar acertaría el 32,2 por ciento de las veces. El mejor modelo es claramente mejor que adivinar, pero aun así se equivoca más de un tercio de las veces.
Esa diferencia es el motivo de este artículo. Si el mejor juez de IA comete tantos errores, deberías probar tu propio juez antes de confiar en él. Estas puntuaciones importan también fuera del laboratorio, porque la gente ya pide a los asistentes de IA que miren fotos y respondan. Imagina subir dos fotos de una caja de medicamentos y preguntar cuánto tomar, y luego subirlas en el orden contrario. Si la respuesta cambia, necesitas saber si la etiqueta era difícil de leer o si el orden de las imágenes afectó el resultado.
El autor comprobó si el orden de las imágenes podía afectar las respuestas del modelo. En una prueba, se mostró a Claude dos imágenes y se le preguntó cuál tenía menos artefactos de compresión. En 24 ensayos, Claude eligió la segunda imagen en 23 de ellos, fuera cual fuera el contenido. Eso sugiere un fuerte sesgo de posición, aunque el resultado proviene de las imágenes de prueba del propio autor y podría no mantenerse para todo tipo de imágenes.
Después, el autor creó una prueba más pequeña con imágenes originales, en la que cada par difería en un único cambio conocido, y registró cada respuesta en Weights & Biases. El objetivo era un script breve que comprobara tres cosas de un juez de imágenes: si atiende al detalle que se le pide, si favorece la primera o la segunda imagen, y si inventa una respuesta.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing