HeadlinesBriefing favicon HeadlinesBriefing.com

捕捉静默的编码代理故障

Towards Data Science •
×

Vibe coding 让任何人都能用自然语言提示构建Web应用,承诺你永远不需要阅读生成的代码。然而静默故障仍然是一个主要问题。UI可能看起来正常,但点击一个'添加到购物车'按钮可能会显示成功消息并更新购物车计数,而实际上并没有将数据保存到数据库中。调试需要与UI交互、阅读日志,最终还要阅读生成的代码,这违背了vibe coding的初衷。

一项针对vibe coding构建的真实应用的研究发现,即使是前沿模型在多次迭代中也经常引入静默故障。这些故障包括跟踪状态更新的失败、跨处理程序的状态断连,以及断连的UI反馈——即出现成功消息但数据未被保存。例如,添加促销代码功能可能会显示'折扣已应用!',但既没有持久化也没有显示新的总额。

当前的验证方法不够完善。LLM作为评判者不可靠,经常产生幻觉或遗漏错误。单元测试需要编写更多代码,缺乏UI到后端的集成覆盖,且非程序员难以使用。静态分析准确但学习曲线陡峭。

Flow Check 由 Columbia DAP Lab 的一名博士生开发,是一种约束语言和静态分析流水线,允许用户直接从界面指定应用应有的行为。用户通过覆盖层选择UI组件、API和存储,表达诸如'当我执行[操作]时,这些会更新:[组件]'的约束,然后在不阅读一行代码的情况下对照实际代码进行检查。

关键实体:公司:Towards Data Science, Claude, Deep Seek, Gemini | 人物:Tim Cook, Elon Musk | 地点:Columbia