著者は、サードパーティのLLMプロバイダーに依存することは、実際の使用パターンに関する可視性を失うことを意味すると主張します。プロバイダーは、エンジニアが informed decisions に必要な time-series data を提供しない flashy dashboards を提供します。代わり、著者は、複数のプロバイダーと複数のモデルのエンドポイントをコントロールするため、独自の LLM プロキシを実行することを推奨します。この設定では、どのキーがどのモデルを、何时に呼び出し、結果が何だったかを示す detailed logs が得られます。Virtual API keys は、agents と harnesses の間で key pollution を防止します。インフラストラクチャのコントロールを保持し、再設定なしでモデルを素早く切り替えられ、actionable telemetry を得ることができます。著者は、custom MCP endpoints と better insights を得るため、プロキシを mod し、20秒以内に cache miss の原因特定など、高速なデバックを可能にします。LLM の internals を完全には理解していませんが、推論サービス中に適切な instrumentation を確保しています。
出典: Hacker News · 要約：HeadlinesBriefing