HeadlinesBriefing favicon HeadlinesBriefing.com

Detectar fallos silenciosos del agente de codificación

Towards Data Science •
×

Vibe coding permite a cualquiera crear una aplicación web con un prompt en lenguaje natural, prometiendo que nunca leerás el código generado. Sin embargo, los fallos silenciosos siguen siendo un problema importante. La interfaz puede verse bien, pero hacer clic en un botón de 'Añadir al carrito' podría mostrar un mensaje de éxito y actualizar el contador del carrito sin guardar realmente los datos en la base de datos. La depuración requiere interactuar con la interfaz, leer los registros y, en última instancia, leer el código generado, frustrando el propósito de vibe coding.

Un estudio de aplicaciones reales codificadas con vibe coding descubrió que incluso los modelos de vanguardia introducen con frecuencia fallos silenciosos a lo largo de las iteraciones. Estos incluyen fallos en el seguimiento de actualizaciones de estado, desconexiones de estado entre manejadores y retroalimentación de interfaz desconectada, donde aparece un mensaje de éxito pero los datos no se guardan. Por ejemplo, añadir una función de código promocional podría mostrar '¡Descuento aplicado!' sin persistir ni mostrar el nuevo total.

Los métodos de verificación actuales son inadecuados. Los LLM como jueces no son confiables, a menudo alucinan o pasan por alto errores. Las pruebas unitarias requieren escribir más código, carecen de cobertura de integración de interfaz a backend y son inaccesibles para los no programadores. El análisis estático es preciso pero tiene una curva de aprendizaje pronunciada.

Flow Check, desarrollado por un estudiante de doctorado en el DAP Lab de Columbia, es un lenguaje de restricciones y un pipeline de análisis estático que permite a los usuarios especificar cómo debe comportarse una aplicación directamente desde la interfaz. Los usuarios seleccionan componentes de interfaz, APIs y almacenamiento a través de una superposición, expresando restricciones como 'Cuando realizo [acción], estos se actualizan: [componente]', y luego las verifica contra el código real sin leer una sola línea.

Entidades clave: Empresas: Towards Data Science, Claude, Deep Seek, Gemini | Personas: Tim Cook, Elon Musk | Ubicaciones: Columbia