एक सफल AI कोडिंग एजेंट रन में भी बहुत सारी बर्बाद मेहनत छिपी हो सकती है। एक उदाहरण में, एक एजेंट ने टर्न 4 पर टेस्ट पास कर लिए, लेकिन टर्न 10 तक काम करता रहा, और उसकी बदली गई आठ पंक्तियों में से छह संदर्भ सुधार की तुलना में अनावश्यक थीं। एक मानक पास/फेल जाँच इस रन को उतना ही अंक देती है जितना एक साफ और कुशल रन को।
लेखक बताते हैं कि इस प्रयोग का एजेंट सिमुलेटेड है। Claude Code या Codex जैसे वास्तविक कोडिंग एजेंट चलाने के बजाय, अध्ययन ने निर्णय लेने के लिए एक सीडेड Python नीति का उपयोग किया, जबकि रिपॉजिटरी, संपादन, डिफ, टेस्ट रन और विफलताएँ वास्तविक हैं। लक्ष्य यह मापना था कि पास होने वाले पैच तक पहुँचने में एजेंट को कितने अतिरिक्त टर्न लगते हैं, उनमें से कितना काम आवश्यक था, और क्या आसपास का वर्कफ़्लो अनावश्यक प्रयास कम कर सकता है।
विश्लेषण लगभग 50,000 सिमुलेटेड रनों पर आधारित है, जिनमें एक अनुपालन जाँच, व्यक्तिगत नियमों के परीक्षण और एक होल्ड-आउट सूट शामिल हैं। यह SWE-bench पर आधारित है, जो 12 Python रिपॉजिटरी से 2,294 वास्तविक GitHub इश्यू का बेंचमार्क है और केवल अंतिम पैच को स्कोर करता है। वहाँ दो रन दोनों सफल हो सकते हैं, जबकि एक कहीं अधिक टर्न, समय और टोकन लेता है और ज़्यादा बदलाव छोड़ जाता है।
लेख अंतिम पैच के आकार को कुल काम से अलग करता है, जिसमें विफल टेस्ट रन, दोहराए गए कमांड, गलत फ़ाइल में संपादन और वापस लिए गए बदलाव शामिल हैं। पास रेट इस पूरे प्रयास को अनदेखा कर देते हैं। अध्ययन का उद्देश्य यह दिखाना है कि यह छिपा काम कितना महंगा पड़ता है और हार्नेस नियम इसे कैसे घटा सकते हैं।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित