El autor argumenta que depender de proveedores de LLM third-party significa perder visibilidad sobre tus patrones de uso reales. Los proveedores ofrecen paneles llamativos que no dan a los ingenieros los datos de serie temporal necesarios para tomar decisiones informadas. En su lugar, el autor defiende ejecutar tu propio proxy LLM para ganar control sobre endpoints de múltiples proveedores y múltiples modelos.
Esta configuración proporciona logs detallados que muestran qué clave llamó a qué modelo, cuándo y cuál fue el resultado. Las claves virtuales API evitan la contaminación de claves entre agentes y harnesses. Mantienes el control de la infraestructura, puedes cambiar de modelo rápidamente sin reconfiguración y obtienes telemetría accionable.
El autor modifica su proxy para endpoints MCP personalizados y mejores ideas, permitiendo depuración rápida—como identificar las causas de fallos de caché en 20 segundos. Aunque no entienden completamente los internals del LLM, aseguran una instrumentación adecuada durante el servicio de inferencia.
Fuente: Hacker News · Resumido por HeadlinesBriefing