قد يُخفي تشغيل ناجح لوكيل برمجة يعتمد الذكاء الاصطناعي قدراً كبيراً من الجهد المهدور. ففي أحد الأمثلة، اجتاز الوكيل الاختبارات في الدورة الرابعة، لكنه واصل العمل حتى الدورة العاشرة، وكانت ستة من أصل ثمانية أسطر عدّلها غير ضرورية مقارنةً بالإصلاح المرجعي. ويمنح فحص النجاح/الفشل المعياري هذا التشغيل الدرجة نفسها التي يمنحها لتشغيل نظيف وفعّال.
يشير الكاتب إلى أن الوكيل في هذه التجربة محاكى. فبدلاً من تشغيل وكيل برمجة حقيقي مثل Claude Code أو Codex، استخدمت الدراسة سياسة Python بقيمة بذرة ثابتة لاتخاذ القرارات، بينما المستودعات والتعديلات والفروقات وتشغيلات الاختبار والإخفاقات حقيقية. وكان الهدف قياس عدد الدورات الإضافية التي يحتاجها الوكيل للوصول إلى رقعة تجتاز الاختبارات، وكم من هذا العمل كان ضرورياً، وما إذا كان سير العمل المحيط بالوكيل يستطيع تقليص الجهد غير الضروري.
يعتمد التحليل على نحو 50,000 تشغيل محاكى، تشمل مسحاً للامتثال واختبارات لقواعد فردية ومجموعة اختبار مستقلة. ويستند إلى SWE-bench، وهو معيار يضم 2,294 مشكلة حقيقية من GitHub من 12 مستودع Python، ويقيّم الرقعة النهائية فقط. وقد ينجح تشغيلان فيه كلاهما، بينما يستغرق أحدهما دورات ووقتاً ورموزاً أكثر بكثير ويترك تغييرات أكثر.
يفصل المقال بين حجم الرقعة النهائية والعمل الكلي، الذي يشمل تشغيلات الاختبار الفاشلة والأوامر المكررة والتعديلات على الملف الخاطئ والتغييرات المتراجَع عنها. ومعدلات النجاح تتجاهل هذا الجهد تماماً. وتهدف الدراسة إلى إظهار كلفة هذا العمل الخفي وكيف يمكن لقواعد الإطار التشغيلي أن تخفضه.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing