HeadlinesBriefing favicon HeadlinesBriefing.com

AgentOps vs MLOps: Warum Monitoring versagt

Towards Data Science •
×

Traditionelles MLOps-Monitoring setzt zustandslose Inferenz mit vergleichbaren Ausgaben über Runs hinweg, einzelne Entscheidungsgrenzen, zeitnahe Ground Truth und menschliche Aufsicht voraus. Diese Annahmen brechen, wenn Agenten schleifen und Tools aufrufen. Die meisten Teams migrieren durch Addition — sie legen neue Agent-Spans auf bestehende Stacks — und lassen Drift-Monitore und Retraining-Trigger unverändert.

Ergebnis: grüne Traces bei fehlgeschlagenen Runs. OpenTelemetrys Gen AI Semantic Conventions definieren create_agent, invoke_agent, execute_tool und plan Spans, wobei Langfuse, LangSmith, Arize Phoenix, W&B Weave und Agent Ops Versionen bereitstellen. Dennoch feuern ererbte Signale weiterhin fälschlicherweise als gesund.

Vergleichbare Ausgaben versagen, wenn identische Eingaben innerhalb von Tagen unterschiedliche Ergebnisse liefern. Zustandslose Inferenz bricht, wenn frühe Fehltritte durch Schleifen kaskadieren. Einzelne Entscheidungsgrenzen verschwinden in agentischen Systemen.

Ground-Truth-Verzögerungen und Human-in-the-Loop-Annahmen kollabieren. Tau-bench deckt pass^k-Reliabilität auf: gpt-4o besteht 61 % der Retail-Aufgaben einmal, aber 8 Versuche ergeben unter 25 % Erfolg. Monitoring-Stacks versagen, indem sie grün bleiben und systemische Probleme maskieren.