Сейчас любой может создать демонстрацию LLM с помощью одного вызова API. Сделать так, чтобы эта же функция выжила при реальных пользователях, реальных данных и реальном счёте — это другая работа. Эта работа сводится к пяти навыкам, которые появляются в почти каждой производственной системе, с которой я работал или проверял: извлечение, маршрутизация, защита, оценка и агентские циклы. Каждый из них отвечает на вопрос, который модель границ не может решить сама. Откуда берутся данные моей компании? Почему счёт такой высокий? Что происходит, когда кто-то отправляет враждебный запрос? Моё последнее изменение улучшило или ухудшило ситуацию? Как заставить модель выполнять многократную работу без падения? Навык #1: RAG, закрепление модели на ваших собственных данных Базовая модель не знает документы вашей компании, и дообучение на них каждый раз, когда они меняются, медленно и дорого. Извлечение-расширенное создание (RAG) извлекает соответствующие документы во время запроса и передаёт их модели как контекст. Это всё ещё самый распространённый шаблон LLM в производстве и, как правило, первое, что учит курс. Интересная работа заключается в извлечении. Правильный фрагмент возвращается в зависимости от того, как вы разбиваете документы (чанкинг), объединяете ли вы ключевые слова и семантический поиск (гибридная извлечение) и переупорядочиваете ли вы результаты перед тем, как они достигают модели (reranking). Навык #2: Маршрутизация моделей: платить за модель, которая нужна задаче Отправка каждого запроса к модели границ — это самый быстрый способ получить счёт, который никто не может объяснить. Маршрутизация отправляет простые запросы высокого объёма на маленькую или локальную модель и оставляет дорогую модель для сложных. Добавление кэша для повторяющихся запросов, как сообщается, снижает производственные счёта на инференс на 40–70%, поэтому маршрутизация перешла от продвинутого трюка к базовому ожиданию. Навык состоит в оценке запроса и выборе уровня.