এখন কেউও এককটি API কল করে একটি LLM ডেমো তৈরি করতে পারে। এই একই ফিচারটি বাস্তব ব্যবহারকারী, বাস্তব ডেটা এবং বাস্তব বিলের সামনে বেঁচে ওঠার জন্য একটি আলাদা কাজ। এই কাজটি পাঁচটি দক্ষতাতে সংক্ষেপ করা যায়, যা প্রায় প্রতিটি উৎপাদন প্রণালীতে দেখা দেয় যাতে আমি কাজ করেছি বা পর্যালোচনা করেছি: পুনর্পালন, রাউটিং, গার্ডরেলস, ইভ্যালস এবং এজেন্ট লুপস। প্রতিটি একটি প্রশ্নের উত্তর দেয় যা একা একটি ফ্রান্টিয়ার মডেল হ্যান্ডেল করতে পারে না। আমার কোম্পানির ডেটা কোথা থেকে আসে? কেন বিলটি এত বড়? যখন কেউ হানাঘাতাকর প্রম্পট পাঠায় তখন কী ঘটে? আমার শেষ পরিবর্তন কি জিনিসগুলিকে ভালো করে বা খারাপ করে তুলেছে? কিভাবে একটি মডেলকে বহন করতে বহন করতে পারি যা একাধিক ধাপের কাজ করে তবে পড়ে যায় না? দক্ষতা #1: RAG, আপনার নিজস্ব ডেটায় মডেলকে ভিত্তিকৃত করা একটি বেস মডেল আপনার কোম্পানির নথিপত্রগুলি জানে না, এবং প্রতিবার তারা পরিবর্তিত হওয়ার সময় তাদের ওপর ফাইন-টিউন করা ধীর এবং ব্যয়বহুল। পুনর্পালন-সমৃদ্ধ জেনারেশন (RAG) প্রশ্নের সময় সংশ্লিষ্ট নথিগুলি আনে এবং সেগুলিকে প্রেক্ষাপট হিসাবে মডেলে পাস করে। এটি এখনও উৎপাদনে সবচেয়ে সাধারণ LLM প্যাটার্ন, এবং সাধারণত একটি পাঠ্যক্রম প্রথমে শেখায়। আকর্ষণীয় কাজ পুনর্পালনে রয়েছে। যদি আপনি সঠিক অংশটি ফেরত দিচ্ছেন তা নির্ভর করে আপনি কীভাবে নথিগুলিকে ভাগ করেন (চাঙ্কিং), কি আপনি কীওয়ান্ট ওয়ার্ড এবং সামগ্রিক অনুসন্ধানকে মিলিয়ে নিচ্ছেন (হাইব্রিড পুনর্পালন) এবং কি আপনি মডেলে পৌঁছানোর আগে ফলাফলগুলিকে পুনরায় ক্রমানুসারে সাজান (রির্যাঙ্কিং)। দক্ষতা #2: মডেল রাউটিং: আপনার কাজের জন্য প্রয়োজনীয় মডেলের জন্য প্রদান করা প্রতিটি অনুরোধ একটি ফ্রান্টিয়ার মডেলে পাঠানো একটি বিল যা কেউও ব্যাখ্যা করতে পারে না তার দিকে যাওয়ার সর্বোত্তর পথ। রাউটিং সহজ, উচ্চ-আয়তন অনুরোধগুলিকে একটি ছোট বা স্থানীয় মডেলে পাঠায় এবং ব্যয়বহুল মডেলকে কঠিন অনুরোধগুলির জন্য রাখে। পুনরাবৃত্ত প্রম্পটের জন্য একটি ক্যাশ যোগ করা উৎপাদন অনুমান বিল থেকে 40% থেকে 70% পর্যন্ত কমায়, যার কারণে রাউটিং একটি উন্নত ট্রিক থেকে একটি ভিত্তি অপেক্ষা পর্যন্ত এসেছে। এই দক্ষতাটি একটি অনুরোধের স্কোর করা এবং একটি স্তর বাছাই করা।