Vision Qと呼ばれる新しいベンチマークは、エッジの鮮明さなど一つの指定された品質について、AIモデルにコンピュータビジョンの画像を評価させます。著者らは審査役を務める20のAIモデルを試しました。最も優れたモデルの正答率は63.1%で、ほぼ3回に2回です。ランダムに推測した場合の正答率は32.2%でした。最良のモデルは推測よりも明らかに優れていますが、それでも3分の1以上の確率で誤答します。
この差こそが本記事の理由です。最良のAI審査役でさえこれほど間違えるのであれば、信頼する前に自分の審査役を検証すべきです。こうしたスコアは研究室の外でも重要です。人々はすでにAIアシスタントに写真を見せて答えさせています。たとえば、薬の箱の写真を2枚アップロードして服用量を尋ね、その後、順番を入れ替えて再びアップロードすると想像してください。答えが変わったなら、ラベルが読みにくかったのか、それとも画像の順序が結果に影響したのかを知る必要があります。
著者は、画像の順序がモデルの回答に影響するかどうかを検証しました。ある試験では、Claudeに2枚の画像を見せ、どちらに圧縮ノイズが少ないかを尋ねました。24回の試行のうち、Claudeは画像の内容に関係なく23回で2番目の画像を選びました。これは強い位置バイアスを示唆しますが、結果は著者自身の試験画像によるものであり、あらゆる種類の画像に当てはまるとは限りません。
その後、著者は元の画像を用いた小規模な試験を作成しました。各ペアは既知の一つの変更のみが異なり、すべての回答をWeights & Biasesに記録しました。目標は、画像審査役について三つの点、すなわち尋ねられた細部に注目しているか、最初と2番目のどちらの画像を優遇するか、答えを捏造していないかを確認する短いスクリプトを作ることでした。
出典: Towards Data Science · 要約：HeadlinesBriefing