HeadlinesBriefing favicon HeadlinesBriefing.com

Выбор инструментов агентами: 16 893 сеанса

Hacker News •
×

Дисклеймер исследования: Armature продает услуги роста для инструментов разработчиков. Это исследование является частью нашей более широкой работы о том, как влиять на выбор агентов кодирования и добиваться выбора продуктов.

По мере того как агенты берут на себя большую часть пути кодирования, выбор того, какую услугу реализовать в существующей кодовой базе, передается им. Например, вайб-кодер, создающий приложение для путешествий, просит Claude Code хранить ввод постоянно. Агент рекомендует Neon за его бесплатный уровень и простоту. Старший инженер, использующий Cursor, просит полностью управляемую базу данных с предсказуемыми затратами; вывод тот же—Neon.

Мы провели эксперимент с двумя песочницами, разными агентами, кодовыми базами и персонами, но результат был одинаковым. Чтобы обобщить, мы провели крупнейший эксперимент: почти 17 000 сеансов среди персон (вайб-кодеры, младшие инженеры, старшие разработчики), с 1 163 вариациями подсказок, 75 репозиториями и 3 агентами (Claude Code, Codex, Cursor), реализующими решения.

Мы создали панель репозиториев на основе публичной статистики GitHub, беспристрастную для реального распределения. Задачи были реальными, с вымышленными названиями компаний, историями git и ключами API. Каждый эксперимент включал один из 4 профилей, от вайб-кодеров, описывающих симптомы, до старших разработчиков, определяющих требования.

Ключевые сущности: Компании: Armature, Vercel, Neon, Supabase, GitHub