HeadlinesBriefing favicon HeadlinesBriefing.com

AI एजेंट्स सरल बग्स पर विफल

Towards Data Science •
×

[PERSON_NAME], immer, और decimal.js के वास्तविक बग्स पर 28 से अधिक अंधा डिबगिंग प्रयोगों से पता चलता है कि AI कोडिंग एजेंट्स जटिलता के बजाय लापता जानकारी के कारण संघर्ष करते हैं। दो कठिन बग — Immer के आंतरिक भाग में गहरा और decimal.js में एक संख्यात्मक सीमा मामला — सभी 16 प्रयासों में सही ढंग से ठीक किए गए। हालांकि, [PERSON_NAME] में एक aparentemente त्रivial HTTP क्लाइंट बग जो पुनः प्रयास विकल्प को चुपचाप हटा देता था, 12 रनों में हर मॉडल और वर्कफ़्लो को पराजित कर दिया। प्रत्येक AI-जनित फिक्स उपयोगकर्ता डेटा को क्षतिग्रस्त कर देता था लेकिन पूरे 84-टेस्ट रिट्राय सूट को पास कर देता था। विफलता पहचान में नहीं थी — एक समीक्षक एजेंट ने डेटा क्षति जोखिम की सही पहचान की लेकिन फिर भी बदलाव को मंजूरी दे दी, समस्या को असंभाव्य मानते हुए। यह एक महत्वपूर्ण अंधा बिंदु उजागर करता है: जब फिक्सेस अनडॉक्यूमेंटेड API अनुबंधों पर निर्भर करते हैं, तो AI plausible लेकिन गलत समाधानों को अस्वीकार करने का निर्णय लेना नहीं जानती। कठिनाई ने विफलता की भविष्यवाणी नहीं की; लापता जानकारी ने की। जिन टीमों द्वारा हरे CI पर आधारित AI फिक्सेस मर्ज किए जाते हैं, यह ठीक वही विफलता मोड है जो छिपकर निकल जाता है — सरल दिखने वाले बग जिनके टेस्ट पास हो जाते हैं लेकिन उत्पादन में डेटा को चुपचाप क्षतिग्रस्त कर देते हैं।