10月9日，Vals AI测试了编程智能体团队是否物有所值。GPT 6 Sol和Claude Opus 5.5各自独立，以及以子智能体组成团队的形式，分别在中等和最高推理强度下构建了50个网页应用。团队的成本是单个智能体的1.8至5.1倍。在四组团队与单人对比中，只有一组具有统计学意义显著性：中等强度下的Sol提升了7.3分。对于Sol而言，将单个智能体的推理强度从中等提高到最高，带来了11.4分的提升，超过了中等强度下团队所带来的提升。
这项研究关注的是任务拆分，而非智能体是否会犯相同的错误。不过，它引出了一个问题：当你在投票中加入另一个模型时，实际上增加了多少独立意见？1785年的孔多塞陪审团定理表明，随着投票者增加，多数票的准确率会趋近于1，但前提是每位投票者正确的概率超过一半，且他们的判断相互独立。当p = 0.7时，三位投票者的正确率为78.4%，五位为83.7%，九位为90.1%，二十五位为98.3%。
独立性是这一假设中最脆弱的部分。五个人从同一份有缺陷的笔记中学习，他们会重复同样的错误，因此多数票会自信地得出错误结论。在相似设计、基于大量重叠文本训练的语言模型，很可能共享同样的盲点。一项模拟说明了这一差距：在错误相互独立的情况下，五模型多数票的正确率为83.8%；而在错误相互重叠的情况下，正确率仅为74.4%，尽管每个模型的个体准确率并未改变。
本文旨在直接测量这一效应：在六个真实的开源模型上，基于1500道考试题进行测试，并运用一个公式来估算一个模型小组实际能提供多少独立意见。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要