Harnesses beeinflussen die KI-Schlusseffizienz erheblich durch das Management von Prompt-Caching. Neuralwatt-Daten zeigen, dass uncached Input bei Kunden wie Open Code und Pi zwischen 1,6 % und 11,1 % variiert. Eine Cache-Rate von 92 % führt zu 2,7-mal mehr Prefill-Arbeit als bei 97 %. Cache-Breaks—verursacht durch Harnesses, die vorherige Prompts editieren—zwingen zur vollständigen Neuberechnung ab der ersten Änderung. Tiefere Sessions verstärken die Kosten: Das erneute Lesen von mehr als der Hälfte eines 128k-Token-Prompts entspricht 600 normalen Durchläufen in Bezug auf Energie. Kunden unterscheiden sich stark: deepseek-harness bricht den Cache etwa 1 % der Zeit, während Open Code und Pi dies etwa 3 % der Zeit tun. Open Code 2.x verbesserte sich in Labortests, aber nicht in der Produktion. Energie-Messungen bestätigen, dass Cache-Misses den Verbrauch ungefähr verdoppeln; bei GLM-5.3 kosten Misses 2,5-mal mehr. Der Harness, nicht nur Modell oder Hardware, ist ein wichtiger Hebel für Effizienz.
Der Großteil des agentischen Datenverkehrs sendet 100k+ Eingabetoken für minimale Ausgabe. Server wiederverwenden KV-Caches für unveränderte Präfixe, wodurch Caching die Hauptquelle der Effizienz ist. Jede Bearbeitung durch den Harness—auch nur ein Zeitstempel—macht das gesamte Präfix ungültig. Neuralwatts Cloud-Daten über 30 Tage zeigen, dass der Harness einen überraschend großen Anteil an der GPU-Arbeitslast bestimmt. Die Optimierung des Prompt-Aufbaus könnte erhebliche Energie- und Kosteneinsparungen ermöglichen, ohne Modelle oder Hardware zu ändern.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing