Em 9 de outubro, a Vals AI testou se equipes de agentes de programação valem o preço. GPT 6 Sol e Claude Opus 5.5 construíram 50 aplicações web, cada um sozinho e como equipe com subagentes, com esforço de raciocínio médio e máximo. As equipes custaram de 1,8 a 5,1 vezes mais. Das quatro comparações entre equipe e agente único, apenas uma foi estatisticamente significativa: Sol com esforço médio, que ganhou 7,3 pontos. Para o Sol, elevar o esforço de raciocínio do agente único de médio para máximo acrescentou 11,4 pontos, mais do que uma equipe acrescentou com esforço médio.
Esse estudo trata da divisão do trabalho, não de saber se os agentes cometem os mesmos erros. Ainda assim, levanta uma questão: quando você adiciona outro modelo a uma votação, quantas opiniões independentes você realmente acrescenta? O teorema do júri de Condorcet, de 1785, sugere que a precisão da maioria se aproxima de 1 à medida que votantes são adicionados, mas somente se cada votante acertar mais da metade das vezes e seus julgamentos forem independentes. Com p = 0,7, três votantes acertam 78,4% das vezes, cinco 83,7%, nove 90,1% e vinte e cinco 98,3%.
A independência é a premissa frágil. Cinco amigos que estudaram pelas mesmas anotações falhas repetirão o mesmo erro, e a maioria estará confiantemente errada. Modelos de linguagem treinados com textos sobrepostos e arquiteturas semelhantes podem plausivelmente compartilhar pontos cegos. Uma simulação ilustra a diferença: com erros independentes, uma maioria de cinco modelos acerta 83,8% das vezes, mas com erros sobrepostos acerta apenas 74,4%, embora a precisão individual de cada modelo seja a mesma.
O artigo se propõe a medir esse efeito diretamente em seis modelos abertos reais, em 1.500 questões de prova, aplicando uma fórmula para estimar quantas opiniões independentes um painel realmente oferece.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing