Los harnesses impactan significativamente la eficiencia de la inferencia de IA al gestionar el caché de prompts. Los datos de Neuralwatt muestran que la entrada sin caché varía entre el 1.6% y el 11.1% entre clientes como Open Code y Pi. Una tasa de caché del 92% resulta en 2.7 veces más trabajo de prellenado que una del 97%. Las rupturas de caché—causadas por harnesses que editan prompts anteriores—forzan una recomputación completa desde el primer cambio. Las sesiones profundas amplifican los costos: volver a leer más de la mitad de un prompt de 128k tokens equivale a 600 turnos normales en energía. Los clientes difieren drásticamente: deepseek-harness rompe el caché aproximadamente el 1% del tiempo, mientras que Open Code y Pi lo hacen aproximadamente el 3%. Open Code 2.x mejoró en pruebas de laboratorio pero no en producción. Las mediciones de energía confirman que los fallos de caché duplican aproximadamente el consumo; en GLM-5.3, los fallos cuestan 2.5 veces más. El harness, no solo el modelo o el hardware, es una palanca importante de eficiencia.
La mayor parte del tráfico agente envía 100k+ tokens de entrada para una salida mínima. Los servidores reutilizan cachés KV para prefijos sin cambios, haciendo que el caché sea la principal fuente de eficiencia. Cualquier edición por parte del harness—incluso una marca de tiempo—invalida todo el prefijo. Los datos en la nube de Neuralwatt durante 30 días revelan que el harness dicta una sorprendente parte de la carga de trabajo de la GPU. Optimizar la construcción de prompts podría generar ahorros sustanciales de energía y costo sin cambiar modelos o hardware.
Fuente: Hacker News · Resumido por HeadlinesBriefing