تقيس معايير البرمجة الحالية المعتمدة على الذكاء الاصطناعي معدل الحل وتكلفة الرموز، لكنها لا تفرض عقوبة على الشيفرة الزائدة، وهو ما يجعل قواعد الشيفرة أصعب في الصيانة على المدى الطويل. وقد صُمم Parsimony لقياس مقدار الشيفرة التي تضيفها نماذج الذكاء الاصطناعي، وهو عامل بالغ الأهمية للمشاريع طويلة الأمد.
تأخذ الأداة التصحيحات التي تنشرها المعايير المعتمدة، ومنها DeepSWE وSWE-bench Verified وSWE-bench Live، وتعدّ وحدات الشيفرة. وهذه عناصر نحوية مثل العبارات والاستدعاءات والمقارنات والأسماء والقيم الحرفية. ولا تُحتسب أسطر الشيفرة، لذلك لا يُكافأ حشر الشيفرة في سطور كثيفة، وتُطرح الشيفرة المحذوفة، فيكون الناتج صافي الوحدات المضافة مطروحاً منها الوحدات المحذوفة.
تُرتَّب النماذج وفق متوسط صافي الوحدات المضافة في المهام التي حلّتها، من الأقل إلى الأعلى. ويشمل المتوسط أيضاً المحاولات الفاشلة. ويُؤخذ وضع الحل من SWE-bench Verified، ولا تُعاد تشغيل الاختبارات. ويُطبَّق كل تصحيح على شيفرة المهمة، ويُحلَّل الإصداران لكل ملف معدّل. ولا يُنفَّذ أي شيء، وتُستبعد الاختبارات والوثائق والملفات المولَّدة. ولا تُقاس حالياً سوى لغة Python.
ويشير المؤلف إلى قيود، فالأصغر ليس دائماً الأفضل، لأن الوحدات تقيس الحجم لا قابلية القراءة أو التصميم. والنماذج التي تكتب شيفرة أكثر تميل أيضاً إلى حل مهام أكثر، بارتباط سبيرمان بين 0.33 و0.60 في اللوحات التي تضم 26 نموذجاً فأكثر. وتستخدم جميع النماذج الوكيل نفسه mini-SWE-agent، وهو ما يؤثر في حجم الشيفرة المكتوبة. ويمكن للمستخدمين إضافة بيانات معاييرهم الخاصة عبر ملف مثال قابل للتنزيل يبقى داخل المتصفح.
المصدر: Hacker News · لخّصه HeadlinesBriefing