O autor argumenta que depender de fornecedores de LLM third-party significa perdir visibilidade sobre os seus padrões de uso reais. Os fornecedores oferecem dashboards chamativos que não fornecem aos engenheiros os dados de série temporal necessários para decisões informadas. Em vez disso, o autor defende a execução do seu próprio proxy LLM para ganhar controle sobre endpoints de múltiplos fornecedores e múltiplos modelos.
Essa configuração fornece logs detalhados mostrando qual chave chamou qual modelo, quando e qual foi o resultado. Chaves virtuais API evitam a poluição de chaves entre agentes e harnesses. Você mantém o controle da infraestrutura, pode mudar rapidamente entre modelos sem reconfiguração e obtém telemetria acionável.
O autor modifica o proxy para endpoints MCP personalizados e melhores insights, permitindo depuração rápida—como identificar as causas de cache miss em 20 segundos. Embora não entendam completamente os internals do LLM, eles garantem uma instrumentação adequada durante o serviço de inferência.
Fonte: Hacker News · Resumido por HeadlinesBriefing