Новый бенчмарк под названием Vision Q просит модели ИИ оценивать изображения компьютерного зрения по одному заданному качеству, например по резкости контуров. Авторы протестировали 20 моделей ИИ, выступавших в роли судей. Лучшая из них оказалась права в 63,1 процента случаев, чуть меньше двух раз из трёх. Случайное угадывание дало бы верный ответ в 32,2 процента случаев. Лучшая модель явно лучше угадывания, но всё же ошибается более чем в трети случаев.
Именно этот разрыв и побудил написать эту статью. Если лучший ИИ-судья допускает столько ошибок, перед тем как доверять своему судье, его стоит проверить. Эти цифры важны и за пределами лаборатории, потому что люди уже просят ИИ-ассистентов рассмотреть фотографии и ответить. Представьте, что вы загружаете два фото упаковки лекарства и спрашиваете, сколько принимать, а затем загружаете их в обратном порядке. Если ответ меняется, нужно понять, была ли надпись трудночитаемой или порядок изображений повлиял на результат.
Автор проверил, может ли порядок изображений влиять на ответы модели. В одном тесте Claude показали две картинки и спросили, на какой меньше артефактов сжатия. В 24 попытках Claude выбрал вторую картинку в 23 случаях, какими бы ни были изображения. Это указывает на сильное смещение по позиции, хотя результат получен на тестовых изображениях самого автора и может не подтвердиться для всех типов картинок.
Затем автор создал меньший тест на основе исходных изображений, в котором каждая пара отличалась одним известным изменением, и записал каждый ответ в Weights & Biases. Цель состояла в том, чтобы написать короткий скрипт, проверяющий три свойства ИИ-судьи изображений: смотрит ли он на тот деталь, о которой его спрашивают, отдаёт ли предпочтение первому или второму изображению и выдумывает ли он ответ.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing