HeadlinesBriefing favicon HeadlinesBriefing.com

コンテキストウィンドウは何がまだ真実かわからない - 有効性レイヤーベンチマーク

Towards Data Science •
×

純粋なPythonで決定的なベンチマークを構築し、陳旧コンテキストウィンドウでの行動のコストを測定しました。コア問題:コンテキストウィンドウは何が起こったかを覚えていますが、その情報がまだ有効かどうかはわかりません。2つの実行者が同じ作業を行います — 1つは行動前に依存関係を検証し、もう1つは失敗後に無効性を発見します。この小さな違いは測定可能な無駄と失敗タスクを生み出します。

96の設定でスイープを実行し、グラフの形が無駄な作業を促進すると期待しましたが、サイズが実際のドライバーであることが判明しました。仮説を強制するのではなく実験を更新し、より正確な結果を得ました。ベンチマークはフライト価格シナリオを使用します:10:00にフライトAは420ドル、10:01にプランが形成され、10:03に価格が610ドルに上昇しますが、ベースラインは10:04に古い420ドルの仮定に基づいて予約します。有効性を意識した実行者は価格の有効性を確認した上で行動し、すぐに再計画します。

コンテキストロスではありません — 何も忘れられたり切り捨てられたりしていません。誤った決定を促す事実ウィンドウに存在しますが、数分前に真実でなくなりました。有効性レイヤーは未来を予測しません;依存するアクションの前に事実を再確認します。実行可能なリポジトリは実際の数字で実行者間のこの決定的なギャップを示します。