Некоторое время назад мы решили создать лучшую платформу семантического поиска кода, какую только могли: конвейер RAG, который предоставляет агентам LLM точные, цитируемые доказательства из реальных репозиториев, а не то, что grep может выдать на поверхность. Окончательным решением стал Air Context. Мы заставили его работать, внедрили в производство и накопили много опыта на этом пути. В этой серии статей мы поделимся тем, что нам хотелось бы, чтобы кто-то рассказал нам в первый же день.
Агенты кодирования, несомненно, являются самым большим технологическим скачком в разработке программного обеспечения нашего десятилетия. Однако, поскольку все больше и больше процессов разработки становятся управляемыми агентами, эффективность агента и качество создаваемого кода становятся все более важными. Для крупномасштабных баз кода, в частности, агент будет тратить много времени на поиск соответствующих фрагментов кода.
Пытаясь найти нужные фрагменты кода, агент будет прибегать к традиционным инструментам поиска кода, таким как поиск по ключевым словам и grep. Эти инструменты требуют, чтобы агент заранее знал, какой именно текст искать. Вот тут-то и вступает в игру генерация с расширенным поиском (RAG). Если мы сможем индексировать исходный код таким образом, чтобы улавливать его семантику, а затем позволить агенту извлекать соответствующие фрагменты по запросу с помощью поиска по свободному тексту, мы создадим интерфейс, который играет на сильных сторонах агента.
Как и многие великие идеи в эпоху агентов, нативная реализация прототипа чрезвычайно проста. Хорошо оцененное производственное решение, безусловно, таковым не является. Эта первая часть серии охватит начальные этапы конвейера: синтаксический анализ и разбиение на чанки, где необработанные исходные файлы разделяются на правильно ограниченные единицы, и векторизацию, где эти единицы преобразуются в представление, поддерживающее семантический поиск.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing