HeadlinesBriefing favicon HeadlinesBriefing.com

AgentOps vs MLOps: Por que o monitoramento falha

Towards Data Science •
×

O monitoramento tradicional de MLOps assume inferência sem estado com saídas comparáveis entre execuções, fronteiras de decisão únicas, verdade fundamental oportuna e supervisão humana. Esses pressupostos quebram quando agentes fazem loops e chamam ferramentas. A maioria das equipes migra por adição — adicionando novos spans de agente às pilhas existentes — deixando monitores de deriva e gatilhos de retreinamento inalterados.

Resultado: traces verdes em execuções falhadas. As convenções semânticas Gen AI da OpenTelemetry definem spans create_agent, invoke_agent, execute_tool e plan, com Langfuse, LangSmith, Arize Phoenix, W&B Weave e Agent Ops emitindo versões. No entanto, sinais herdados ainda disparam falsamente como saudáveis.

Saídas comparáveis falham quando entradas idênticas produzem resultados diferentes em dias. A inferência sem estado quebra quando erros iniciais caem em cascata através de loops. Fronteiras de decisão únicas desaparecem em sistemas agenticos.

Atrasos de verdade fundamental e pressupostos human-in-the-loop colapsam. Tau-bench revela confiabilidade pass^k: gpt-4o passa 61% das tarefas de varejo uma vez, mas 8 tentativas rendem menos de 25% de sucesso. Pilhas de monitoramento falham ao permanecer verdes enquanto mascaram problemas sistêmicos.