Penulis berargumen bahwa relying on third-party LLM providers berarti losing visibility into your actual usage patterns. Providers menawarkan dashboard yang menarik yang tidak memberikan engineer data time-series yang dibutuhkan untuk keputusan yang terinformasi. Sebaliknya, penulis menyarankan untuk menjalankan proxy LLM sendiri untuk mendapatkan kontrol pada endpoint multi-provider, multi-model.
Konfigurasi ini memberikan log detail yang menunjukkan kunci mana yang memanggil model apa, kapan, dan hasilnya. Kunci virtual API mencegah polusi kunci di seluruh agen dan harnesses. Anda mempertahankan kontrol infrastruktur, dapat berpindah model dengan cepat tanpa rekonfigurasi, dan mendapatkan telemetri yang dapat ditindaklanjuti.
Penulis memodifikasi proxy untuk endpoint MCP kustom dan wawasan yang lebih baik, memungkinkan debugging cepat—seperti mengidentifikasi penyebab cache miss dalam 20 detik. Meskipun mereka mungkin tidak sepenuhnya memahami internals LLM, mereka memastikan instrumentasi yang tepat selama serving inferensi.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing