一个名为Vision Q的新基准要求AI模型根据某一指定质量标准（例如边缘锐度）来评判计算机视觉图像。作者测试了20个充当评判者的AI模型。表现最好的一个正确率为63.1%，略低于三分之二。随机猜测的正确率为32.2%。最佳模型显然优于随机猜测，但仍有超过三分之一的时间会出错。
这一差距正是本文的写作原因。如果最佳AI评判者犯这么多错误，那么在信任自己的评判器之前，你应该先测试它。这些分数在实验室之外同样重要，因为人们已经在让AI助手查看照片并作答。设想你上传两张药盒照片，询问应该服用多少，然后又以相反的顺序上传。如果答案发生变化，你需要弄清楚究竟是标签难以辨认，还是图像顺序影响了结果。
作者测试了图像顺序是否会影响模型的回答。在一项测试中，向Claude展示两张图片，询问哪一张的压缩伪影更少。在24次试验中，无论图片内容如何，Claude有23次都选择了第二张图片。这表明存在较强的位置偏差，不过该结果来自作者自己的测试图像，未必适用于所有类型的图片。
随后，作者构建了一个规模较小的原始图像测试集，每对图像只存在一处已知的差异，并将每个回答记录到Weights & Biases。目标是编写一个简短的脚本，检查图像评判器的三个方面：它是否关注你所询问的细节、是否偏向第一张或第二张图片，以及它是否会编造答案。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要