मौजूदा AI कोडिंग बेंचमार्क समाधान दर और टोकन लागत मापते हैं, लेकिन वे अतिरिक्त कोड पर दंड नहीं लगाते, जिससे कोडबेस का दीर्घकालिक रखरखाव कठिन हो जाता है। Parsimony को यह मापने के लिए बनाया गया था कि AI मॉडल कितना कोड जोड़ते हैं, एक ऐसा कारक जो लंबी अवधि की परियोजनाओं के लिए सबसे अधिक मायने रखता है।
यह टूल स्थापित बेंचमार्क द्वारा पहले से प्रकाशित पैच लेता है, जिनमें DeepSWE, SWE-bench Verified और SWE-bench Live शामिल हैं, और कोड इकाइयों की गिनती करता है। ये स्टेटमेंट, कॉल, तुलना, नाम और लिटरल जैसे सिंटैक्स तत्व हैं। कोड की पंक्तियाँ नहीं गिनी जातीं, इसलिए ठूँस-ठूँसकर लिखे गए कोड को पुरस्कृत नहीं किया जाता, और हटाए गए कोड को घटाया जाता है, जिससे जोड़ी गई इकाइयों में से हटाई गई इकाइयों को घटाकर शुद्ध आंकड़ा मिलता है।
मॉडलों को उन कार्यों पर औसत शुद्ध जोड़ी गई इकाइयों के आधार पर रैंक किया जाता है जिन्हें उन्होंने हल किया, सबसे कम पहले। इस औसत में असफल प्रयास भी शामिल होते हैं। हल होने की स्थिति SWE-bench Verified से ली जाती है, और परीक्षण दोबारा नहीं चलाए जाते। प्रत्येक पैच को कार्य के कोड पर लागू किया जाता है और हर बदली गई फ़ाइल के दोनों संस्करणों को पार्स किया जाता है। कुछ भी निष्पादित नहीं होता, और परीक्षण, दस्तावेज़ और उत्पन्न फ़ाइलें बाहर रखी जाती हैं। फिलहाल केवल Python मापा जाता है।
लेखक सीमाएँ बताते हैं। छोटा हमेशा बेहतर नहीं होता, क्योंकि इकाइयाँ आकार मापती हैं, पठनीयता या डिज़ाइन नहीं। जो मॉडल अधिक कोड लिखते हैं, वे अक्सर अधिक कार्य भी हल करते हैं, 26 या अधिक मॉडलों वाली तालिकाओं पर Spearman सहसंबंध 0.33 से 0.60 है। सभी मॉडल एक ही एजेंट, mini-SWE-agent, का उपयोग करते हैं, जो अब भी लिखे गए कोड की मात्रा को प्रभावित करता है। उपयोगकर्ता एक डाउनलोड योग्य उदाहरण फ़ाइल के माध्यम से अपना बेंचमार्क डेटा जोड़ सकते हैं, जो ब्राउज़र में ही रहती है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित