Os harnesses impactam significativamente a eficiência da inferência de IA ao gerenciar o cache de prompts. Os dados da Neuralwatt mostram que a entrada não cacheada varia de 1,6% a 11,1% entre clientes como Open Code e Pi. Uma taxa de cache de 92% resulta em 2,7 vezes mais trabalho de pré-preenchimento do que uma de 97%. Quebras de cache—causadas por harnesses que editam prompts anteriores—forçam uma recomputação completa a partir da primeira alteração. Sessões profundas amplificam os custos: reler mais da metade de um prompt de 128k tokens equivale a 600 turnos normais em energia. Os clientes diferem drasticamente: o deepseek-harness quebra o cache cerca de 1% do tempo, enquanto o Open Code e o Pi o fazem cerca de 3%. O Open Code 2.x melhorou nos testes de laboratório, mas não na produção. As medições de energia confirmam que as falhas de cache dobram aproximadamente o consumo; no GLM-5.3, as falhas custam 2,5 vezes mais. O harness, não apenas o modelo ou o hardware, é uma alavanca importante de eficiência.
A maior parte do tráfego agente envia 100k+ tokens de entrada para uma saída mínima. Os servidores reutilizam caches KV para prefixos inalterados, tornando o cache a principal fonte de eficiência. Qualquer edição feita pelo harness—mesmo um timestamp—torna todo o prefixo inválido. Os dados em nuvem da Neuralwatt em 30 dias revelam que o harness determina uma parcela surpreendente da carga de trabalho da GPU. Otimizar a construção de prompts pode resultar em economia significativa de energia e custos sem alterar modelos ou hardware.
Fonte: Hacker News · Resumido por HeadlinesBriefing