Der Autor argumentiert, dass die Abhängigkeit von Drittanbieter-LLM-Anbietern den Verlust an Sichtbarkeit in Ihre tatsächlichen Nutzungsprofile bedeutet. Anbietern bietende leuchtende Dashboards, die Ingenieuren die time-series data nicht geben, die für informierte Entscheidungen benötigt werden. Stattdessen befürwortet der Author die Ausführung Ihres eigenen LLM-Proxy, um die Kontrolle über multi-provider, multi-model endpoints zu gewinnen.
Diese Konfiguration liefert detaillierte Logs, die zeigen, welcher Schlüssel welches Modell angerufen hat, wann und was das Ergebnis war. Virtuelle API-Schlüssel verhindern Schlüsselverschmutzung über Agents und Harnesses hinweg. Sie behalten die Infrastrukturkontrolle, können Modelle schnell ohne Neukonfiguration wechseln und erhalten handlungsfähige Telemetrie.
Der Author modifiziert seinen Proxy für benutzerdefinierte MCP-Endpoints und bessere Erkenntnisse, was schnelles Debugging ermöglicht—wie das Identifizieren von Cache-Miss-Ursachen in 20 Sekunden. Obwohl sie die LLM-Internals nicht vollständig verstehen, stellen sie sicher, dass während des Inferenz-Servicing eine ordnungsgemäße Instrumentierung erfolgt.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing