HeadlinesBriefing favicon HeadlinesBriefing.com

Tool-Auswahl von Coding-Agenten: 16.893 Sitzungen

Hacker News •
×

Forschungshinweis: Armature verkauft Wachstumsdienste für Entwicklertools. Diese Studie ist Teil unserer breiteren Arbeit darüber, wie man die Entscheidungen von Coding-Agenten beeinflusst und Produkte ausgewählt werden.

Da Agenten mehr von der Coding-Reise übernehmen, wird die Auswahl, welcher Dienst in einer bestehenden Codebasis implementiert werden soll, an sie ausgelagert. Zum Beispiel bittet ein Vibe-Coder, der eine Reise-App baut, Claude Code, Eingaben dauerhaft zu speichern. Der Agent empfiehlt Neon wegen seines kostenlosen Tarifs und seiner Einfachheit. Ein Senior Engineer, der Cursor verwendet, fragt nach einer vollständig verwalteten Datenbank mit vorhersehbaren Kosten; das Fazit ist dasselbe—Neon.

Wir führten ein Experiment mit zwei Sandboxes, verschiedenen Agenten, Codebasen und Personas durch, aber mit demselben Ergebnis. Zur Verallgemeinerung führten wir das größte Experiment aller Zeiten durch: fast 17.000 Sitzungen über Personas (Vibe-Coder, Junior Engineers, Senior Developers), mit 1.163 Prompt-Variationen, 75 Repositories und 3 Agenten (Claude Code, Codex, Cursor), die Lösungen implementierten.

Wir bauten ein Panel von Repositories aus öffentlichen GitHub-Statistiken auf, unvoreingenommen für die reale Verteilung. Die Aufgaben waren real, mit gefälschten Firmennamen, Git-Historien und API-Schlüsseln. Jedes Experiment umfasste eines von 4 Profilen, von Vibe-Codern, die Symptome beschreiben, bis zu Senior Developers, die Anforderungen spezifizieren.

Wichtige Entitäten: Unternehmen: Armature, Vercel, Neon, Supabase, GitHub