في 9 أكتوبر، اختبرت Vals AI ما إذا كانت فرق وكلاء البرمجة تستحق تكلفتها. بنى GPT 6 Sol وClaude Opus 5.5 خمسين تطبيق ويب، كل منهما بمفرده وكفريق مع وكلاء فرعيين، بمستوى جهد استدلال متوسط وأقصى. كانت الفرق أغلى بمقدار 1.8 إلى 5.1 مرة. ومن بين المقارنات الأربع بين الفريق والوكيل المنفرد، كانت واحدة فقط ذات دلالة إحصائية: Sol بالجهد المتوسط، الذي حقق تحسناً قدره 7.3 نقطة. أما بالنسبة لـ Sol، فإن رفع جهد استدلال الوكيل المنفرد من المتوسط إلى الأقصى أضاف 11.4 نقطة، أي أكثر مما أضافه الفريق بالجهد المتوسط.
تتعلق تلك الدراسة بتقسيم العمل، لا بما إذا كان الوكلاء يرتكبون الأخطاء نفسها. ومع ذلك، فهي تثير سؤالاً: عند إضافة نموذج آخر إلى تصويت، كم رأياً مستقلاً تضيف فعلياً؟ تشير نظرية جوري كوندورسيه لعام 1785 إلى أن دقة الأغلبية تقترب من 1 كلما أُضيف مصوّتون، لكن بشرط أن يكون كل مصوّت محقاً أكثر من نصف المرات وأن تكون أحكامهم مستقلة. مع p = 0.7، يكون ثلاثة مصوّتين محقين بنسبة 78.4%، وخمسة بنسبة 83.7%، وتسعة بنسبة 90.1%، وخمسة وعشرين بنسبة 98.3%.
الاستقلالية هي الافتراض الهش. فخمسة أصدقاء درسوا من الملاحظات المعيبة نفسها سيكررون الخطأ ذاته، فتكون الأغلبية مخطئة بثقة. ويمكن لنماذج اللغة المدربة على نصوص متداخلة وتصاميم متشابهة أن تشترك في نقاط عمياء. توضح محاكاة هذه الفجوة: مع أخطاء مستقلة، تكون أغلبية النماذج الخمسة محقة بنسبة 83.8%، لكن مع أخطاء متداخلة لا تكون محقة إلا بنسبة 74.4%، رغم أن الدقة الفردية لكل نموذج لم تتغير.
يسعى المقال إلى قياس هذا الأثر مباشرة على ستة نماذج مفتوحة حقيقية عبر 1500 سؤال امتحاني، مطبقاً صيغة لتقدير عدد الآراء المستقلة التي تقدمها اللجنة فعلياً.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing