शोधकर्ताओं ने स्वायत्त कोडिंग एजेंटों के हैंस डिज़ाइन पर अनुभवजन्य अध्ययन किया, जिसमें व्यक्तिगत घटकों के सॉफ्टवेयर इंजीनियरिंग प्रदर्शन पर प्रभाव का मूल्यांकन किया गया। उन्होंने फिक्स्ड एक्सीक्यूशन लूप वाले हल्के वजन वाले हैंस का उपयोग करके, SWE-Bench Verified और Terminal-Bench 2.1 पर चार मॉडल पर 176 मिलान किए गए सेटिंग्स का परीक्षण किया, योजना, क्रिया स्थान और संदर्भ प्रबंधन घटकों में परिवर्तन लाते हुए।

मुख्य निष्कर्षों में शामिल हैं: जैसे-जैसे संदर्भ-विंडो बजट कसते जाते हैं, संदर्भ प्रबंधन 점점 अधिक मूल्यवान बन जाता है, मुख्य रूप से संदर्भ-ओवरफ्लो विफलताओं को रोककर। LLM-आधारित संक्षेपण से पहले नियम-आधारित विलोपन करने से सबसे अधिक दक्षता प्राप्त होती है, जबकि विलोपित सामग्री को पुनः प्राप्त करने योग्य बनाने से जटिलता बढ़ती है लेकिन सटीकता में कोई वृद्धि नहीं होती। योजना कमजोर मॉडल के लिए सटीकता का सहारा से बदलकर मजबूत मॉडल के लिए लागत बचाने वाले उपकरण में बदल जाती है, जिसमें सटीकता में न्यूनतम परिवर्तन होता है। पूर्वनिर्धारित उपकरण बश में कम दक्षता वाले मॉडल के प्रदर्शन में सुधार करते हैं, जबकि बश-सक्षम मॉडल केवल बश इंटरफेस के साथ काफी कम लागत हासिल करते हैं, विशेष रूप से कमांड-लाइन-केंद्रित कार्यों पर।

ट्रैजेक्टरी-स्तर के विश्लेषण से पता चलता है कि संदर्भ प्रबंधन एजेंट के व्यवहार को बदले बिना निष्पादन ट्रैजेक्टरी को बढ़ाता है, योजना बदलती है कि ट्रैजेक्टरी कहाँ रुकती हैं, और क्रिया स्थान कोड-लेखन की सूक्ष्मता बदलता है। ये निष्कर्ष मॉडल- और बजट-जागरूक हैंस डिज़ाइन को सूचित करते हैं और भविष्य के हैंस घटकों का मूल्यांकन करने के लिए एक मॉड्यूलर ढांचा प्रदान करते हैं। इस अध्ययन को Run-Ze Fan द्वारा 17 सितंबर, 2026 को प्रस्तुत किया गया।

मुख्य इकाइयाँ: व्यक्ति: Run-Ze Fan