Harnesses существенно влияют на эффективность вывода ИИ за счет управления кешированием промптов. Данные Neuralwatt показывают, что непрокешированный вход варьируется от 1,6% до 11,1% среди клиентов вроде Open Code и Pi. Коэффициент кеширования 92% приводит к 2,7-кратному увеличению работы по предварительному заполнению по сравнению с 97%. Пррывы кеша—вызванные harnesses, редактирующими предыдущие промпты—принуждают к полному пересчету с первого изменения. Глубокие сессии увеличивают затраты: повторное чтение более половины промпта из 128k токенов эквивалентно 600 обычным ходам по потреблению энергии. Клиенты сильно различаются: deepseek-harness нарушает кеш примерно в 1% случаев, тогда как Open Code и Pi делают это примерно в 3% случаев. Open Code 2.x улучшился в лабораторных тестах, но не в производстве. Измерения энергии подтверждают, что промахи кеша примерно удваивают потребление; на GLM-5.3 промахи обходятся в 2,5 раза дороже. Harness, а не только модель или оборудование, является важным рычагом эффективности.
Большая часть агентного трафика отправляет 100k+ токенов ввода для минимального вывода. Серверы повторно используют кеши KV для неизменных префиксов, делая кеширование главным источником эффективности. Любое редактирование harnesses—даже временная метка—делает весь префикс недействительным. Облачные данные Neuralwatt за 30 дней показывают, что harness определяет удивительную долю нагрузки на GPU. Оптимизация построения промптов может привести к значительной экономии энергии и затрат без изменения моделей или оборудования.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing