HeadlinesBriefing favicon HeadlinesBriefing.com

GitHub Copilot效率与吞吐量差距分析

Hacker News •
×

GitHub Copilot等AI辅助工具的快速采用重新激发了对工程生产力的兴趣。然而,这些工具对工程生产力实际影响的全面理解,仍然停留在营销宣称的巨大收益与初步关注任务级改进的研究之间。虽然营销叙事受到新兴真实世界证据的挑战,但社区仍然缺乏深入的非轶事研究,这些研究不仅要观察这种脱节,还要解释它。在本文中,我们旨在做到这一点。我们介绍并研究了效率-吞吐量差距,这是一种现象,即个体开发者的效率提升未能转化为可衡量的组织吞吐量。我们的真实世界实地研究以组织欧姆定律(OOL)框架为基础,不仅提供了记录这一差距的方法论,还提供了数据驱动的解释。

研究动机与原则。这项工作的动机是理解GitHub Copilot对工程生产力的影响,以指导将生成式AI战略性地整合到现有产品开发中。具体而言,我们旨在了解工程师如何使用GitHub Copilot,以及其采用是否带来了可衡量的工程生产力提升。此外,这项研究寻求确定在企业环境中有效测量工程生产力的要求。为了促进实际的业务决策,我们的实地研究旨在减少对既定工程实践的干扰,并反映真实的现实世界条件,而非人工实验室环境。我们的实验设计遵循三个指导原则:第一,在满足学术好奇心的同时产生可操作的业务洞察;第二,最小化参与工程师的负担,避免引入不必要的研究专用流程;第三,尽可能准确地测量相关数据和行为,以反映真实的运营环境。

组织欧姆定律。该研究的实验设计和方法论受到OOL框架的启发,这是我们之前开发用于分析工程生产力的概念。该框架在电气电路与组织系统之间建立类比,指出结果电流(因此组织生产力)与结果输出效率和组织潜力成正比,与组织阻力成反比。通过可量化的时间分配来近似组织阻力,该定律表明工程生产力与花费在核心软件工程活动(即编码和测试)上的时间百分比、相对平均工程师动机和相对平均工程师技能水平呈正相关。利用这一框架,我们测量了GitHub Copilot采用前后工程师在各种领域的时间分配,包括编码、测试、沟通、等待决策和依赖项以及文档。

关键实体:公司:GitHub