লেখক যুক্তি দেন যে তৃতীয় পক্ষের LLM প্রদাতার উপর নির্ভর করা আপনার প্রকৃত ব্যবহার ধারাগুলোর দৃশ্যতা হারানোর অর্থ হয়। প্রদাতারা চক্চক্যানো ড্যাশবোর্ড প্রদান করে যা ইঞ্জিনিয়ারদের প্রয়োজনীয় সময়-সিরিজ ডেটা দেয় না যা প্রয়োজনীয় সিদ্ধান্ত গ্রহণের জন্য। বর্তমানে, লেখক বহু-প্রদাতা, বহু-মডেল এন্ডপয়েন্টগুলোর উপর নিয়ন্ত্রण অর্জনের জন্য আপনার নিজস্ট LLM প্রক্সি চালানোর পক্ষে যুক্তি তুলে ধরেন। এই সেটআপ বিস্তৃত লগ প্রদান করে যা দেখায় যে কোন কী কোন মডেলকে কখন কল করেছে এবং ফলাফল কী ছিল। ভিচুয়াল API কীগুলো এজেন্ট এবং হার্নেসের মধ্যে কী দূষিত হওয়া থেকে রক্ষা করে। আপনি ইনফ্রাস্ট্রাকচার নিয়ন্ত্রণ রাখেন, পুনর্বিন্যাস ছাড়াই দ্রুত মডেল পরিবর্তন করতে পারেন এবং কার্যকরী টেলিমেট্রি পাবেন। লেখক তার প্রক্সি কাস্টম MCP এন্ডপয়েন্ট এবং উন্নত অন্তর্দৃষ্টির জন্য মড করেন, যা দ্রুত ডিবগিংকে সম্ভব করে—যেমন 20 সেকেনের মধ্যে ক্যাশ মিসের কারণগুলো চিহ্নিত করা। যদিও তিনি পুরোপুরি LLM ইনটারনাল্স বোঝেন না, তিনি নিশ্চিত করেন যে অনুমান সার্ভিসের সময় উপযুক্ত ইনস্ট্রুমেন্টেশন আছে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing