9 अक्टूबर को, Vals AI ने परखा कि क्या कोडिंग एजेंटों की टीमें अपनी कीमत के लायक हैं। GPT 6 Sol और Claude Opus 5.5 ने 50 वेब ऐप बनाए, हर एक अकेले और सब-एजेंटों के साथ टीम के रूप में, मध्यम और अधिकतम तर्क-प्रयास दोनों पर। टीमों की लागत एकल एजेंट से 1.8 से 5.1 गुना अधिक थी। टीम बनाम एकल की चार तुलनाओं में से केवल एक सांख्यिकीय रूप से महत्वपूर्ण थी: मध्यम प्रयास पर Sol, जिसने 7.3 अंक बढ़ाए। Sol के लिए, एकल एजेंट का तर्क-प्रयास मध्यम से अधिकतम करने पर 11.4 अंक जुड़े, जो मध्यम प्रयास पर एक टीम द्वारा जोड़े गए अंकों से अधिक थे।
वह अध्ययन कार्य के विभाजन से संबंधित है, इस बात से नहीं कि एजेंट एक जैसी गलतियाँ करते हैं या नहीं। फिर भी यह एक प्रश्न उठाता है: जब आप मतदान में एक और मॉडल जोड़ते हैं, तो वास्तव में कितनी स्वतंत्र राय जुड़ती है? 1785 का कोंडोर्से जूरी प्रमेय बताता है कि मतदाता जोड़ने पर बहुमत की सटीकता 1 की ओर बढ़ती है, लेकिन केवल तब जब हर मतदाता आधे से अधिक बार सही हो और उनके निर्णय स्वतंत्र हों। p = 0.7 पर, तीन मतदाता 78.4% बार सही होते हैं, पाँच 83.7%, नौ 90.1% और पच्चीस 98.3%।
स्वतंत्रता ही वह नाजुक धारणा है। पाँच दोस्त जिन्होंने एक ही त्रुटिपूर्ण नोट्स से पढ़ाई की, वे एक ही गलती दोहराएँगे, इसलिए बहुमत आत्मविश्वास से गलत होगा। एक जैसे डिज़ाइन वाले, आपस में मिलते-जुलते पाठ पर प्रशिक्षित भाषा मॉडलों में भी समान अंध-बिंदु हो सकते हैं। एक सिमुलेशन इस अंतर को दर्शाता है: स्वतंत्र गलतियों के साथ पाँच-मॉडल बहुमत 83.8% बार सही होता है, लेकिन अतिव्यापी गलतियों के साथ केवल 74.4% बार, हालाँकि हर मॉडल की व्यक्तिगत सटीकता वही रहती है।
यह लेख छह वास्तविक खुले मॉडलों पर 1,500 परीक्षा प्रश्नों के माध्यम से इस प्रभाव को सीधे मापने का प्रयास करता है, और एक सूत्र लगाकर अनुमान लगाता है कि एक पैनल वास्तव में कितनी स्वतंत्र राय देता है।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित