Sebuah benchmark baru bernama Vision Q meminta model AI menilai gambar computer vision berdasarkan satu kualitas tertentu, seperti ketajaman tepi. Para penulis menguji 20 model AI yang berperan sebagai juri. Yang terbaik benar dalam 63,1 persen kasus, sedikit kurang dari dua dari tiga kali. Tebakan acak akan benar dalam 32,2 persen kasus. Model terbaik jelas lebih baik daripada menebak, tetapi tetap meleset lebih dari sepertiga waktu.
Kesenjangan itulah alasan artikel ini ditulis. Jika juri AI terbaik membuat kesalahan sebanyak ini, Anda sebaiknya menguji juri Anda sendiri sebelum mempercayainya. Skor ini juga penting di luar laboratorium, karena orang sudah meminta asisten AI untuk memeriksa foto dan menjawab. Bayangkan Anda mengunggah dua foto kotak obat dan bertanya berapa dosis yang harus diminum, lalu mengunggahnya kembali dengan urutan terbalik. Jika jawabannya berubah, Anda perlu tahu apakah labelnya sulit dibaca atau urutan gambar memengaruhi hasilnya.
Penulis menguji apakah urutan gambar dapat memengaruhi jawaban model. Dalam satu tes, Claude diperlihatkan dua gambar dan ditanya mana yang memiliki lebih sedikit artefak kompresi. Dari 24 percobaan, Claude memilih gambar kedua dalam 23 di antaranya, apa pun isi gambarnya. Hal ini menunjukkan bias posisi yang kuat, meskipun hasilnya berasal dari gambar uji milik penulis sendiri dan mungkin tidak berlaku untuk semua jenis gambar.
Penulis kemudian membuat tes yang lebih kecil menggunakan gambar asli, dengan setiap pasangan berbeda hanya pada satu perubahan yang diketahui, dan mencatat setiap jawaban di Weights & Biases. Tujuannya adalah sebuah skrip singkat yang memeriksa tiga hal pada juri gambar: apakah ia memperhatikan detail yang Anda tanyakan, apakah ia lebih memilih gambar pertama atau kedua, dan apakah ia mengarang jawaban.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing