HeadlinesBriefing favicon HeadlinesBriefing.com

Jendela Konteks Tidak Tahu Apa Masih Benar - Lapisan Validitas Benchmark

Towards Data Science •
×

Saya membuat benchmark deterministik dalam Python murni untuk mengukur biaya bertindak pada konteks window yang sudah usang. Masalah inti: konteks window mengingat yang terjadi tetapi tidak tahu apakah informasi tersebut masih valid. Dua executor melakukan pekerjaan yang sama — satu validasi dependensi sebelum bertindak, yang lain hanya mengetahui ketidakvalidan setelah gagal. Perbedaan kecil ini menciptakan pemborosan yang dapat diukur dalam langkah dan tugas yang gagal.

Saya melakukan sweep 96 konfigurasi, mengharapkan bentuk grafik menggerakkan kerja yang dibuang, tetapi ukuran ternyata penggerak utama. Saya memperbarui eksperimen daripada memaksa hipotesa, hasil yang lebih tepat. Benchmark menggunakan skenario harga penerbangan: pada pukul 10:00, Penerbangan A harganya 420 dolar, rencana terbentuk pada 10:01, harga naik menjadi 610 dolar pada 10:03, namun baseline masih memesan pada 10:04 berdasarkan asumsi ketinggalan zaman 420 dolar. Executor yang sadar validitas memeriksa validitas harga sebelum bertindak dan segera merencanakan ulang.

Ini bukan kehilangan konteks — tidak ada yang dilupakan atau dipotong. Fakta yang mendorong keputusan yang salah ada di jendela tetapi berhenti benar beberapa menit yang lalu. Lapisan validitas tidak meramalkan masa depan; ia mengulangi faktes tepat sebelum tindakannya bergantung pada mereka. Repositori yang dapat dieksekusi menunjukkan gap deterministik ini antara executor dengan angka nyata.