Кэширование — базовый приём проектирования крупномасштабных систем. Оно сохраняет данные, вычисление которых обходится дорого, чтобы потом использовать их повторно без повторной оплаты той же стоимости. Например, сайт может кэшировать результат запроса к базе данных вместо того, чтобы выполнять его при каждой загрузке страницы.
Тот же принцип применим к большим языковым моделям. Кэширование в приложениях на основе LLM означает сохранение работы, выполненной в предыдущих запросах, для её повторного использования. Это снижает стоимость обработки и время отклика, особенно когда запросы имеют общие инструкции, документы или вопросы. Существует два основных подхода: кэширование промптов и семантическое кэширование. Оба направлены на сокращение повторяющейся работы, но действуют на разных этапах запроса и следуют разным правилам.
Стоимость LLM складывается в основном из двух источников: входных и выходных токенов. Выходные токены часто стоят дороже, но входные тоже могут быть дорогими, поскольку запросы нередко включают гораздо больше, чем вопрос пользователя. Например, приложение службы поддержки может отправлять вместе с вопросом из 10 слов инструкции по поведению, примеры ответов, документацию продукта и предыдущие сообщения диалога, что даёт тысячи входных токенов. Приложения, которые отправляют длинное руководство по продукту с каждым запросом, повторяют одно и то же содержимое каждый раз, хотя разные пользователи задают о нём разные вопросы.
Повторы встречаются и в самих вопросах. Сотни пользователей могут спрашивать, как сменить фото профиля, каждый своими словами, поэтому модель часто снова и снова генерирует примерно один и тот же ответ. Это открывает две возможности для снижения затрат: повторное использование уже обработанного входного содержимого, например руководства по продукту, и повторное использование ответов на по существу одинаковые вопросы.
Источник: ByteByteGo · Сводку подготовил HeadlinesBriefing