Am 9. Oktober prüfte Vals AI, ob sich Teams aus Coding-Agenten ihren Preis lohnen. GPT 6 Sol und Claude Opus 5.5 entwickelten jeweils 50 Webanwendungen, einmal allein und einmal als Team mit Subagenten, bei mittlerem und maximalem Reasoning-Aufwand. Die Teams kosteten 1,8- bis 5,1-mal so viel. Von den vier Vergleichen Team gegen Einzelagent war nur einer statistisch signifikant: Sol bei mittlerem Aufwand, der 7,3 Punkte gewann. Bei Sol brachte es 11,4 Punkte, den Reasoning-Aufwand des Einzelagenten von mittel auf maximal zu erhöhen, was mehr war als der Zugewinn eines Teams bei mittlerem Aufwand.
Diese Studie befasst sich mit der Aufteilung der Arbeit, nicht damit, ob Agenten dieselben Fehler machen. Dennoch wirft sie eine Frage auf: Wie viele unabhängige Meinungen fügt man einer Abstimmung tatsächlich hinzu, wenn man ein weiteres Modell aufnimmt? Das Condorcet-Jury-Theorem von 1785 legt nahe, dass die Mehrheitsgenauigkeit gegen 1 strebt, je mehr Wähler hinzukommen, aber nur, wenn jeder Wähler öfter als in der Hälfte der Fälle richtig liegt und ihre Urteile unabhängig sind. Bei p = 0,7 liegen drei Wähler in 78,4 % der Fälle richtig, fünf in 83,7 %, neun in 90,1 % und fünfundzwanzig in 98,3 %.
Die Unabhängigkeit ist die brüchige Annahme. Fünf Freunde, die aus denselben fehlerhaften Notizen gelernt haben, wiederholen denselben Fehler, und die Mehrheit liegt sicher falsch. Sprachmodelle, die auf überlappenden Texten mit ähnlichen Designs trainiert wurden, könnten durchaus gemeinsame blinde Flecken haben. Eine Simulation verdeutlicht die Lücke: Bei unabhängigen Fehlern liegt eine Mehrheit aus fünf Modellen in 83,8 % der Fälle richtig, bei überlappenden Fehlern nur in 74,4 %, obwohl die Einzelgenauigkeit jedes Modells unverändert bleibt.
Der Artikel will diesen Effekt direkt messen, anhand von sechs realen offenen Modellen und 1.500 Prüfungsfragen, und wendet eine Formel an, um abzuschätzen, wie viele unabhängige Meinungen ein Gremium tatsächlich liefert.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing