HeadlinesBriefing favicon HeadlinesBriefing.com

Stille Ausfälle von Codierungs-Agenten erkennen

Towards Data Science •
×

Vibe coding ermöglicht es jedem, eine Web-App mit einem Prompt in natürlicher Sprache zu erstellen, und verspricht, dass Sie generierten Code nie lesen werden. Dennoch bleiben stille Ausfälle ein großes Problem. Die Benutzeroberfläche mag gut aussehen, aber das Klicken auf eine Schaltfläche 'In den Warenkorb' könnte eine Erfolgsmeldung anzeigen und den Warenkorbzähler aktualisieren, ohne tatsächlich Daten in der Datenbank zu speichern. Das Debugging erfordert die Interaktion mit der Benutzeroberfläche, das Lesen von Protokollen und letztendlich das Lesen des generierten Codes, was den Zweck von Vibe coding zunichte macht.

Eine Studie von Vibe-codierten realen Apps ergab, dass selbst fortschrittliche Modelle über Iterationen hinweg häufig stille Ausfälle einführen. Dazu gehören Ausfälle beim Verfolgen von Statusaktualisierungen, handlerübergreifende Statusunterbrechungen und getrenntes UI-Feedback—bei dem eine Erfolgsmeldung erscheint, aber keine Daten gespeichert werden. Das Hinzufügen einer Funktion für Aktionscodes könnte beispielsweise 'Rabatt angewendet!' anzeigen, ohne die neue Summe zu speichern oder anzuzeigen.

Aktuelle Verifikationsmethoden sind unzureichend. LLMs als Gutachter sind unzuverlässig, halluzinieren oft oder übersehen Bugs. Unit-Tests erfordern das Schreiben von mehr Code, fehlen an UI-zu-Backend-Integrationsabdeckung und sind für Nicht-Programmierer unzugänglich. Statische Analyse ist genau, hat aber eine steile Lernkurve.

Flow Check, entwickelt von einem Doktoranden am DAP Lab der Columbia, ist eine Constraint-Sprache und statische Analyse-Pipeline, die es Benutzern ermöglicht, das Verhalten einer App direkt über die Schnittstelle festzulegen. Benutzer wählen UI-Komponenten, APIs und Speicher über ein Overlay aus, drücken Constraints aus wie 'Wenn ich [action] ausführe, werden diese aktualisiert: [component]', und überprüft sie dann gegen den tatsächlichen Code, ohne eine Zeile zu lesen.

Wichtige Entitäten: Unternehmen: Towards Data Science, Claude, Deep Seek, Gemini | Personen: Tim Cook, Elon Musk | Orte: Columbia