9 октября Vals AI проверила, стоят ли команды агентов для программирования своих денег. GPT 6 Sol и Claude Opus 5.5 создали по 50 веб-приложений, каждый самостоятельно и в составе команды с подагентами, при среднем и максимальном уровне усилий на рассуждение. Команды обходились в 1,8–5,1 раза дороже. Из четырёх сравнений «команда против одиночного агента» статистически значимым было только одно: Sol при среднем уровне усилий, выигрыш которого составил 7,3 пункта. Для Sol повышение усилий на рассуждение одиночного агента со среднего до максимального добавило 11,4 пункта, что больше, чем дала команда при среднем уровне.
Это исследование посвящено разделению работы, а не тому, совершают ли агенты одинаковые ошибки. Тем не менее оно поднимает вопрос: сколько независимых мнений вы действительно добавляете, когда включаете ещё одну модель в голосование? Теорема Кондорсе о присяжных 1785 года предполагает, что точность большинства растёт к 1 по мере добавления голосующих, но только если каждый прав более чем в половине случаев и их суждения независимы. При p = 0,7 три голосующих правы в 78,4% случаев, пять — в 83,7%, девять — в 90,1%, двадцать пять — в 98,3%.
Независимость — хрупкое допущение. Пять друзей, которые учились по одним и тем же ошибочным конспектам, повторят одну и ту же ошибку, и большинство уверенно ошибётся. Языковые модели, обученные на пересекающихся текстах и со схожей архитектурой, вполне могут иметь общие слепые зоны. Моделирование показывает разрыв: при независимых ошибках большинство из пяти моделей верно в 83,8% случаев, но при пересекающихся ошибках — лишь в 74,4%, хотя точность каждой модели по отдельности не меняется.
Статья ставит целью напрямую измерить этот эффект на шести реальных открытых моделях по 1500 экзаменационным вопросам, применив формулу для оценки того, сколько независимых мнений действительно даёт группа моделей.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing