Les harnesses influencent considérablement l'efficacité de l'inférence de l'IA en gérant le cache des prompts. Les données de Neuralwatt montrent que l'entrée non mise en cache varie de 1,6 % à 11,1 % selon les clients comme Open Code et Pi. Un taux de cache de 92 % entraîne 2,7 fois plus de travail de préremplissage qu'un taux de 97 %. Les ruptures de cache—causées par les harnesses qui modifient les prompts précédents—forcent une recomputation complète depuis le premier changement. Les sessions profondes amplifient les coûts : relire plus de la moitié d'un prompt de 128k tokens équivaut à 600 tours normaux en énergie. Les clients diffèrent considérablement : deepseek-harness rompt le cache environ 1 % du temps, tandis que Open Code et Pi le font environ 3 %. Open Code 2.x s'est amélioré lors des tests en laboratoire mais pas en production. Les mesures d'énergie confirment que les manquements au cache doublent approximativement la consommation ; sur GLM-5.3, les manquements coûtent 2,5 fois plus. Le harness, pas seulement le modèle ou le matériel, est un levier majeur d'efficacité.
La majorité du trafic agentique envoie 100k+ de tokens d'entrée pour une sortie minimale. Les serveurs réutilisent les caches KV pour les préfixes inchangés, faisant du cache la principale source d'efficacité. Toute modification par le harness—même un horodatage—invalide tout le préfixe. Les données cloud de Neuralwatt sur 30 jours révèlent que le harness détermine une part surprenante de la charge de travail du GPU. Optimiser la construction des prompts pourrait permettre des économies substantielles d'énergie et de coûts sans changer les modèles ni le matériel.
Source: Hacker News · Résumé par HeadlinesBriefing