HeadlinesBriefing favicon HeadlinesBriefing.com

Kontextfenster wissen nicht, was noch wahr ist - Validitätsschicht Benchmark

Towards Data Science •
×

Ich habe einen deterministischen Benchmark in reiner Python programmiert, um die Kosten für Handlungen mit veralteten Kontextfenstern zu messen. Das Kernproblem: Kontextfenster erinnern sich daran, was passiert ist, aber sie wissen nicht, ob diese Informationen noch gültig sind. Zwei Executor führen dieselbe Arbeit aus — einer validiert Abhängigkeiten vor der Ausführung, der andere entdeckt die Unwirksamkeit erst nach dem Scheitern. Diese kleine Differenz erzeugt messbaren Verschwendung in Schritten und fehlgeschlagenen Aufgaben.

Ich habe einen 96-Konfigurationen-Sweep durchgeführt, wobei ich erwartete, dass die Graph-Form den verschwendeten Arbeit antreibt, aber die Größe stellte sich als echter Treiber heraus. Ich habe das Experiment aktualisiert, statt meine Hypothese zu erzwingen, und genauere Ergebnisse erhalten. Der Benchmark verwendet ein Flugpreis-Szenario: Um 10:00 kostet Flug A 420 Dollar, ein Plan bildet sich um 10:01, der Preis steigt um 10:03 auf 610 Dollar, doch die Baseline bucht um 10:04 basierend auf dem veralteten 420-Dollar-Annahme. Der Validitäts-aware Executor prüft vor der Ausführung die Validität des Preises und replant sofort.

Es ist nicht Kontextverlust — nichts wurde vergessen oder gestrichen. Der Fakt, der die falsche Entscheidung antreibt, befindet sich im Fenster, aber er ist vor einigen Minuten nicht mehr wahr gewesen. Die Validitätsschicht prognostiziert nicht die Zukunft; sie verifiziert Fakten kurz vor deren Nutzung durch Aktionen. Das ausführbare Repository demonstriert diese deterministische Lücke zwischen Executoren mit echten Zahlen.