يطلب معيار جديد يسمى Vision Q من نماذج الذكاء الاصطناعي الحكم على صور الرؤية الحاسوبية بناءً على جودة محددة واحدة، مثل حدة الحواف. اختبر المؤلفون 20 نموذجًا من نماذج الذكاء الاصطناعي تعمل كحكام. كان أفضلها صحيحًا في 63.1 بالمئة من الحالات، أي قليلًا أقل من مرتين من كل ثلاث مرات. أما التخمين العشوائي فكان سيصيب في 32.2 بالمئة من الحالات. أفضل النماذج أفضل بوضوح من التخمين، لكنه ما يزال يخطئ في أكثر من ثلث الحالات.
هذه الفجوة هي سبب هذا المقال. إذا كان أفضل حكم بالذكاء الاصطناعي يرتكب هذا القدر من الأخطاء، فينبغي أن تختبر حكمك الخاص قبل أن تثق به. تهم هذه النتائج خارج المختبر أيضًا، لأن الناس يطلبون بالفعل من مساعدي الذكاء الاصطناعي فحص الصور والإجابة عنها. تخيّل أنك ترفع صورتين لعلبة دواء وتسأل عن الجرعة المناسبة، ثم ترفعهما بالترتيب المعكوس. إذا تغيرت الإجابة، فعليك أن تعرف هل كانت الملصقة صعبة القراءة أم أن ترتيب الصور أثر في النتيجة.
اختبر المؤلف ما إذا كان ترتيب الصور يمكن أن يؤثر في إجابات النموذج. في أحد الاختبارات، عُرضت على Claude صورتان وسُئل أيهما يحتوي على عدد أقل من تشوهات الضغط. وفي 24 محاولة، اختار Claude الصورة الثانية في 23 منها، مهما كانت محتوياتها. يشير ذلك إلى انحياز قوي للموضع، وإن كانت النتيجة مستمدة من صور الاختبار الخاصة بالمؤلف وقد لا تنطبق على كل أنواع الصور.
ثم أعد المؤلف اختبارًا أصغر بصور أصلية، يختلف فيه كل زوج بتغيير واحد معروف، وسجّل كل إجابة في Weights & Biases. كان الهدف كتابة نص برمجي قصير يتحقق من ثلاثة أمور في حكم الصور: هل ينتبه إلى التفصيل الذي تسأل عنه، وهل يفضّل الصورة الأولى أو الثانية، وهل يختلق إجابة.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing