Vision Q नाम का एक नया बेंचमार्क AI मॉडलों से कहता है कि वे कंप्यूटर विज़न की छवियों को किसी एक निर्दिष्ट गुणवत्ता, जैसे किनारों की तीक्ष्णता, के आधार पर परखें। लेखकों ने जज की भूमिका निभाने वाले 20 AI मॉडलों का परीक्षण किया। सबसे अच्छा मॉडल 63.1 प्रतिशत बार सही था, यानी लगभग तीन में से दो बार। यादृच्छिक अनुमान 32.2 प्रतिशत बार सही होता। सबसे अच्छा मॉडल अनुमान लगाने से स्पष्ट रूप से बेहतर है, फिर भी वह एक-तिहाई से अधिक बार गलती करता है।
यही अंतर इस लेख का कारण है। अगर सबसे अच्छा AI जज इतनी गलतियाँ करता है, तो उस पर भरोसा करने से पहले आपको अपने जज की जाँच करनी चाहिए। ये स्कोर प्रयोगशाला के बाहर भी मायने रखते हैं, क्योंकि लोग पहले ही AI सहायकों से तस्वीरें देखकर उत्तर देने को कहते हैं। कल्पना कीजिए कि आप दवा के डिब्बे की दो तस्वीरें अपलोड करके पूछते हैं कि कितनी खुराक लेनी है, और फिर उन्हें उल्टे क्रम में अपलोड करते हैं। यदि उत्तर बदल जाता है, तो आपको पता लगाना होगा कि लेबल पढ़ना कठिन था या छवियों के क्रम ने परिणाम को प्रभावित किया।
लेखक ने परखा कि क्या छवियों का क्रम मॉडल के उत्तरों को प्रभावित कर सकता है। एक परीक्षण में Claude को दो तस्वीरें दिखाकर पूछा गया कि किसमें कम कंप्रेशन आर्टिफैक्ट्स हैं। 24 परीक्षणों में Claude ने 23 बार दूसरी तस्वीर चुनी, चाहे तस्वीरें कैसी भी थीं। इससे मज़बूत स्थिति-पूर्वाग्रह का संकेत मिलता है, हालाँकि यह परिणाम लेखक की अपनी परीक्षण छवियों से आया है और हर प्रकार की तस्वीर पर लागू नहीं हो सकता।
इसके बाद लेखक ने मूल छवियों का एक छोटा परीक्षण सेट बनाया, जिसमें हर जोड़ी में एक ज्ञात बदलाव था, और हर उत्तर को Weights & Biases में दर्ज किया। लक्ष्य एक छोटी स्क्रिप्ट बनाना था जो इमेज जज की तीन बातों की जाँच करे: क्या वह उस विवरण को देखता है जिसके बारे में आप पूछते हैं, क्या वह पहली या दूसरी छवि की ओर झुकता है, और क्या वह उत्तर गढ़ लेता है।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित