Le 9 octobre, Vals AI a testé si les équipes d'agents de programmation valaient leur prix. GPT 6 Sol et Claude Opus 5.5 ont construit 50 applications web, chacun seul puis en équipe avec des sous-agents, avec un effort de raisonnement moyen puis maximum. Les équipes coûtaient 1,8 à 5,1 fois plus cher. Sur les quatre comparaisons équipe contre agent unique, une seule était statistiquement significative : Sol à effort moyen, qui a gagné 7,3 points. Pour Sol, passer l'effort de raisonnement de l'agent unique de moyen à maximum a ajouté 11,4 points, soit plus qu'une équipe à effort moyen.
Cette étude porte sur la répartition du travail, et non sur la question de savoir si les agents commettent les mêmes erreurs. Elle soulève néanmoins une interrogation : lorsqu'on ajoute un modèle à un vote, combien d'avis indépendants apporte-t-on réellement ? Le théorème du jury de Condorcet, de 1785, suggère que la précision majoritaire tend vers 1 à mesure que l'on ajoute des votants, mais seulement si chacun a raison plus d'une fois sur deux et si leurs jugements sont indépendants. Avec p = 0,7, trois votants ont raison dans 78,4 % des cas, cinq dans 83,7 %, neuf dans 90,1 % et vingt-cinq dans 98,3 %.
L'indépendance est l'hypothèse fragile. Cinq amis ayant étudié à partir des mêmes notes erronées répéteront la même erreur, et la majorité se trompera avec assurance. Des modèles de langage entraînés sur des textes qui se recoupent et conçus de façon similaire peuvent partager des angles morts. Une simulation illustre l'écart : avec des erreurs indépendantes, une majorité de cinq modèles a raison dans 83,8 % des cas, mais avec des erreurs qui se chevauchent elle n'a raison que dans 74,4 % des cas, bien que la précision individuelle de chaque modèle reste inchangée.
L'article se propose de mesurer directement cet effet sur six modèles ouverts réels, à travers 1 500 questions d'examen, en appliquant une formule pour estimer le nombre d'avis indépendants qu'un panel fournit réellement.
Source: Towards Data Science · Résumé par HeadlinesBriefing