Вот вопрос, который стоит задать вашей финансовой команде: сколько бюджета на ИИ осталось в этом году? Для удивительного числа компаний честный ответ — «немного». Некоторые иссякают к апрелю. Годовой бюджет исчезает за квартал. Главная причина — как мы его используем. Мы перешли от вопросов чат-ботам к запуску агентов. А агенты не просто отвечают. Они вызывают инструменты, читают файлы, проверяют результаты и вызывают больше инструментов. Каждый из этих шагов сжигает токены. Один запрос агента может стоить в несколько раз больше, чем обычное сообщение в чате. Не помогает и то, что цены постоянно меняются. Есть подписки. Есть оплата по мере использования API. Есть акции, которые появляются на несколько месяцев, чтобы помешать людям переключаться, и новые топовые модели, выходящие каждые несколько месяцев со своими ценами. Поэтому, прежде чем мы перейдем к тому, как сократить счет, давайте убедимся, что все понимаем, за что мы на самом деле платим. Потому что, как только вы увидите, как работает счетчик, экономия становится очевидной. LLM предсказывает один токен за раз. Для каждого токена он выполняет набор вычислений. Чтобы предсказать следующий токен, ему нужны вычисления для каждого предыдущего токена. Снова и снова, пока не появится специальный токен «я закончил». Представьте каждый вызов API как платную дорогу. Вы платите за въезд (входные токены) и платите за выезд (выходные токены). Выход — более дорогая полоса. Возьмем линейку Anthropic в качестве примера. Claude Fable 5 стоит 10 долларов за миллион токенов на входе и 50 долларов за миллион на выходе. Это разница в 10 раз между самой дешевой и самой дорогой моделью одной компании. Теперь найдите самую маленькую строку в этом прайс-листе. Кэшированные токены стоят одну десятую обычных токенов. Держите это число в кармане. Оно стоит больше, чем все остальное в этой статье вместе взятое. Без кэширования модели нужен весь разговор каждый раз. Вы отправляете сообщение один. Она отправляет обратно сообщение один плюс свой ответ. Вы отправляете все плюс сообщение три. Она отправляет все это обратно плюс ответ два.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing