Vibe codingは、自然言語のプロンプトで誰でもWebアプリを構築できるようにし、生成されたコードを読まなくて済むことを約束します。しかし、サイレントな失敗は依然として大きな問題です。UIは正常に見えるかもしれませんが、「カートに追加」ボタンをクリックすると成功メッセージが表示され、カート数が更新されるにもかかわらず、実際にはデータがデータベースに保存されない場合があります。デバッグにはUIとの対話、ログの読み取り、そして最終的には生成されたコードの読み取りが必要であり、Vibe codingの目的を損ないます。

Vibe codingで構築された実際のアプリの研究では、最先端のモデルでさえ、反復を通じて頻繁にサイレントな失敗を導入することが判明しました。これには、状態更新の追跡の失敗、ハンドラー間の状態の切断、切断されたUIフィードバック—成功メッセージが表示されるがデータが保存されない場合—が含まれます。例えば、プロモーションコード機能を追加すると、新しい合計を永続化または表示せずに「割引が適用されました！」と表示される場合があります。

現在の検証方法は不十分です。LLMを審判として使用するのは信頼性が低く、しばしば幻覚を起こしたりバグを見逃したりします。ユニットテストはより多くのコードを書く必要があり、UIからバックエンドへの統合カバレッジがなく、非プログラマーにはアクセスできません。静的解析は正確ですが、学習曲線が急です。

ColumbiaのDAP Labの博士課程学生によって開発されたFlow Checkは、制約言語と静的解析パイプラインであり、ユーザーがインターフェースから直接アプリの動作を指定できるようにします。ユーザーはオーバーレイを介してUIコンポーネント、API、ストレージを選択し、「[action]を実行すると、これらが更新される：[component]」のような制約を表現し、コードを1行も読まずに実際のコードに対してチェックします。

主要エンティティ：企業：Towards Data Science, Claude, Deep Seek, Gemini | 人物：Tim Cook, Elon Musk | 場所：Columbia