Monitoring MLOps tradisional mengasumsikan inferensi stateless dengan output yang dapat dibandingkan di seluruh run, batas keputusan tunggal, ground truth tepat waktu, dan pengawasan manusia. Asumsi ini gagal ketika agen melakukan loop dan memanggil tool. Sebagian tim bermigrasi dengan penambahan — menumpuk span agen baru ke stack yang ada — meninggalkan monitor drift dan pemicu pelatihan ulang tanpa perubahan.

Hasilnya: trace hijau pada run yang gagal. Konvensi semantik Gen AI OpenTelemetry mendefinisikan span create_agent, invoke_agent, execute_tool, dan plan, dengan Langfuse, LangSmith, Arize Phoenix, W&B Weave, dan Agent Ops menerbitkan versi. Namun, sinyal warisan tetap memicu palsu sebagai sehat.

Output yang dapat dibandingkan gagal ketika input identik menghasilkan hasil berbeda dalam beberapa hari. Inferensi stateless gagal ketika kesalahan awal kaskade melalui loop. Batas keputusan tunggal hilang di sistem agentic.

Keterlambatan ground truth dan asumsi human-in-the-loop runtuh. Tau-bench mengungkap keandalan pass^k: gpt-4o lolos 61% tugas ritel sekali, tapi 8 percobaan menghasilkan di bawah 25% keberhasilan. Stack monitoring gagal dengan tetap hijau sambil menutupi masalah sistemik.