HeadlinesBriefing favicon HeadlinesBriefing.com

Brecha eficiencia-rendimiento GitHub Copilot

Hacker News •
×

La rápida adopción de herramientas asistidas por IA como GitHub Copilot ha reavivado el interés en la productividad ingenieril. Sin embargo, una comprensión holística del impacto real de estas herramientas en la productividad ingenieril sigue atrapada entre afirmaciones de marketing de ganancias sustanciales y estudios iniciales centrados en mejoras a nivel de tarea. Aunque la narrativa de marketing es cuestionada por evidencia real emergente, la comunidad aún carece de estudios profundos, no anecdóticos, que no solo observen sino que también expliquen la desconexión. En este artículo, pretendemos hacer exactamente eso. Introducimos e investigamos la brecha eficiencia-rendimiento, un fenómeno en el que las ganancias de eficiencia individuales de los desarrolladores no logran traducirse en un rendimiento organizacional medible. Nuestro estudio de campo en el mundo real, fundamentado en el marco de la Ley de Ohm Organizacional (OOL), proporciona una metodología para documentar empíricamente esta brecha y ofrecer una explicación basada en datos.

Motivación y principios de investigación. La motivación de este trabajo es comprender el impacto de GitHub Copilot en la productividad ingenieril para informar la integración estratégica de IA generativa en el desarrollo de productos existente. Específicamente, buscamos entender cómo los ingenieros usan GitHub Copilot y si su adopción genera ganancias medibles en productividad ingenieril. Además, esta investigación busca identificar los requisitos para la medición efectiva de la productividad ingenieril en entornos corporativos. Para facilitar decisiones comerciales prácticas, nuestro estudio de campo fue diseñado para reducir la interrupción de las prácticas ingenieriles establecidas y reflejar condiciones auténticas del mundo real en lugar de entornos de laboratorio artificiales. Nuestro diseño experimental se adhiere a tres principios rectores: primero, generar conocimientos comerciales accionables mientras satisface la curiosidad académica; segundo, minimizar la carga para los ingenieros participantes y evitar introducir procesos de investigación innecesarios; y tercero, medir datos y comportamientos relevantes con la mayor precisión posible para reflejar contextos operativos reales.

Ley de Ohm Organizacional. El diseño experimental y la metodología del estudio están informados por el marco OOL, un concepto que desarrollamos previamente para analizar la productividad ingenieril. El marco establece una analogía entre circuitos eléctricos y sistemas organizacionales, indicando que la corriente de resultado, y por tanto la productividad organizacional, es proporcional a la eficiencia de salida de resultado y el potencial organizacional, e inversamente proporcional a la resistencia organizacional. Al aproximar la resistencia organizacional mediante asignaciones de tiempo cuantificables, la ley muestra que la productividad ingenieril está correlacionada positivamente con el porcentaje de tiempo dedicado a actividades centrales de ingeniería de software (es decir, codificación y pruebas), la motivación promedio relativa del ingeniero y los niveles de habilidad promedio relativa del ingeniero. Aprovechando este marco, medimos la asignación de tiempo del ingeniero antes y después de la adopción de GitHub Copilot en varias áreas, incluyendo codificación, pruebas, comunicación, espera de decisiones y dependencias, y documentación.

Entidades clave: Empresas: GitHub