Vibe coding позволяет любому создать веб-приложение с помощью запроса на естественном языке, обещая, что вы никогда не будете читать сгенерированный код. Однако скрытые сбои остаются серьезной проблемой. Интерфейс может выглядеть нормально, но нажатие кнопки 'Добавить в корзину' может показать сообщение об успехе и обновить счетчик корзины без фактического сохранения данных в базу данных. Отладка требует взаимодействия с интерфейсом, чтения журналов и, в конечном итоге, чтения сгенерированного кода, что сводит на нет цель Vibe coding.

Исследование реальных приложений, созданных с помощью Vibe coding, показало, что даже передовые модели часто вводят скрытые сбои в ходе итераций. К ним относятся сбои в отслеживании обновлений состояния, разрывы состояния между обработчиками и отключенная обратная связь интерфейса—когда появляется сообщение об успехе, но данные не сохраняются. Например, добавление функции промокода может отображать 'Скидка применена!' без сохранения или отображения новой суммы.

Текущие методы проверки неадекватны. LLM в качестве судей ненадежны, часто галлюцинируют или пропускают ошибки. Модульные тесты требуют написания дополнительного кода, не имеют покрытия интеграции от интерфейса до бэкенда и недоступны для непрограммистов. Статический анализ точен, но имеет крутую кривую обучения.

Flow Check, разработанный аспирантом в DAP Lab при Columbia, представляет собой язык ограничений и конвейер статического анализа, который позволяет пользователям указывать, как приложение должно вести себя, прямо из интерфейса. Пользователи выбирают компоненты интерфейса, API и хранилище через наложение, выражая ограничения вроде 'Когда я выполняю [action], эти обновляются: [component]', затем проверяет их против фактического кода, не читая ни одной строки.

Ключевые сущности: Компании: Towards Data Science, Claude, Deep Seek, Gemini | Люди: Tim Cook, Elon Musk | Места: Columbia