L'auteur argue que s'appuyer sur des fournisseurs de LLM third-party signifie perdre la visibilité sur vos patterns d'utilisation réels. Les fournisseurs offrent des tableaux de bord flashys qui ne fournissent pas aux ingénieurs les données de série temporelle nécessaires pour des décisions éclairées. À la place, l'auteur prône l'exécution de votre propre proxy LLM pour obtenir un contrôle sur les endpoints multi-fournisseurs, multi-modèles. Cette configuration fournit des logs détaillés montrant quelle clé a appelé quel modèle, quand, et quel était le résultat.
Les clés virtuelles API empêchent la pollution des clés entre agents et harnesses. Vous conservez le contrôle de l'infrastructure, pouvez basculer rapidement entre modèles sans reconfiguration, et obtenez une télémétrie actionnable. L'auteur modifie son proxy pour des endpoints MCP personnalisés et de meilleurs insights, permettant un débogage rapide—comme identifier les causes de cache miss en 20 secondes.
Bien qu'ils ne comprennent pas pleinement les internals du LLM, ils s'assurent une instrumentation appropriée pendant le service d'inférence.
Source: Hacker News · Résumé par HeadlinesBriefing