Forscher führten eine empirische Studie zum Design von Geschirren für autonome Coding-Agenten durch, um zu bewerten, wie einzelne Komponenten die Software-Engineering-Leistung beeinflussen. Sie verwendeten ein leichtes Geschirr mit festen Ausführungsloops, um 176 passende Einstellungen an vier Modellen auf SWE-Bench Verified und Terminal-Bench 2.1 zu testen, wobei sie Planung, Aktionsraum und Kontextverwaltung variierten.

Die wichtigsten Ergebnisse umfassen: Die Kontextverwaltung wird bei enger werdenden Kontextfenster-Budgets zunehmend wertvoll, hauptsächlich indem sie Kontextüberlauffehler verhindert. Das Staging von regelbasierter Elision vor LLM-basierter Zusammenfassung bietet die höchste Effizienz, während das Wiederherstellen von elidiertem Inhalt Komplexität hinzufügt, ohne Genauigkeitsvorteile zu bringen. Die Planung wandelt sich von einer Genauigkeitsstütze für schwächere Modelle zu einem Kostensparer für stärkere Modelle mit minimaler Genauigkeitsänderung. Vordefinierte Werkzeuge verbessern die Leistung von Modellen mit schwächeren Bash-Kenntnissen, während bash-fähige Modelle mit einer bash-only-Schnittstelle substantially niedrigere Kosten erreichen, insbesondere bei command-line-zentrierten Aufgaben.

Die Analyse auf Trajektoriebene zeigt, dass die Kontextverwaltung die Ausführungstrajektorien verlängert, ohne das Verhalten des Agents zu ändern, die Planung ändert, wo die Trajektorien enden, und der Aktionsraum ändert die Granularität des Code-Schreibens. Diese Ergebnisse informieren über ein modell- und budgetbewusstes Geschirrdesign und bieten ein modulares Framework zur Bewertung zukünftiger Geschirrkomponenten. Die Studie wurde von Run-Ze Fan am 17. September 2026 eingereicht.

Wesentliche Entitäten: Personen: Run-Ze Fan