প্রোডাকশন AI-এর পুনরাবৃত্ত খরচ ইনফারেন্স নয়। এটি পুনঃযোগ্যতা: প্রতিবার একটি মডেল আপনার নিচে পরিবর্তিত হলে eval রিরান, প্রম্পট রিটিউনিং এবং রিগ্রেশন টেস্টিং। ইমেলটি মঙ্গলবার এসেছিল। একটি মডেল যা আমরা প্রায় এক বছর ধরে প্রোডাকশনে চালাচ্ছিলাম, উদ্দেশ্যমূলকভাবে একটি নির্দিষ্ট সংস্করণে পিন করা, ডেপ্রিকেট করা হচ্ছিল। আমাদের মাইগ্রেট করার একটি উইন্ডো ছিল। এর পরে, এন্ডপয়েন্ট ত্রুটি ফেরানো শুরু করবে। আমরা সতর্ক-ইঞ্জিনিয়ারিং প্লেবুক যা করতে বলে তা সব করেছিলাম। আমরা একটি সর্বশেষ অ্যালিয়াসে ভাসছিলাম না যা রাতারাতি আমাদের নিচে পরিবর্তিত হতে পারে। আমরা সঠিক মডেল সংস্করণ পিন করেছিলাম, এটি কনফিগে লিখেছিলাম, এবং এটি অন্য যেকোনো নির্ভরতার মতো আচরণ করেছিলাম যা আমরা পর্যালোচনা ছাড়া সরাতে চাই না। পিনটি নিরাপদ পছন্দ হওয়ার কথা ছিল। ডেপ্রিকেশন নোটিশ এমন কিছু স্পষ্ট করে দিল যা পিনটি চুপচাপ লুকিয়ে রেখেছিল: একটি মডেল সংস্করণ পিন করা আপনাকে পরিবর্তন থেকে অনাক্রম্যতা কিনে দেয় না। এটি আপনাকে একটি বিলম্ব কিনে দেয়। মাটি এখনও নড়ে। আপনি শুধু মঙ্গলবার বেছে নিতে পারেন। এই পার্থক্যটি প্রোডাকশন AI-এ সবচেয়ে কম বাজেটযুক্ত খরচ। দলগুলি তাদের AI ব্যয়কে ইনফারেন্স হিসাবে মডেল করে: টোকেন ইন, টোকেন আউট, গুণ মূল্য। তারা মডেল পছন্দ অপ্টিমাইজ করে, তারা প্রম্পট দৈর্ঘ্য অপ্টিমাইজ করে, তারা তর্ক করে যে সস্তা মডেলটি যথেষ্ট ভাল কিনা। প্রায় কারও বাজেটে সেই দিনের জন্য একটি লাইন নেই যখন মডেল পরিবর্তিত হয় এবং পুরো সিস্টেমকে আবার সঠিক প্রমাণ করতে হয়। আমি সেই লাইনটিকে পুনঃযোগ্যতা কর বলতে যাচ্ছি, এবং এই লেখার শেষে আমি চাই আপনার কাছে এটির জন্য একটি নাম এবং এটি ঘিরে পরিকল্পনা করার একটি উপায় উভয়ই থাকুক। পিন আসলে আপনাকে কী থেকে রক্ষা করে, এবং কী থেকে করে না একটি মডেল সংস্করণ পিন করা সত্যিই ভাল অনুশীলন। এটি নীরব আচরণ প্রবাহ বন্ধ করে, যেখানে একটি প্রদানকারী একটি অ্যালিয়াসের পিছনে ওজন আপডেট করে এবং আপনার আউটপুট আপনার কোডের একটি লাইনও পরিবর্তন না করে পরিবর্তিত হয়। আপনি যদি কখনও একটি eval স্কোরকে কোনো কারণে সরতে দেখেন যা আপনি আপনার নিজের কমিটে খুঁজে পাচ্ছেন না, আপনি ইতিমধ্যেই জানেন কেন দলগুলি পিন করে। কিন্তু একটি পিন আপনার দিকের একটি দরজার তালা যা প্রদানকারীও নিয়ন্ত্রণ করে। প্রদানকারীরা ডেপ্রিকেট করে। 2026-এ গতি যদি কিছু হয় তবে ত্বরান্বিত হয়েছে: নতুন ফ্রন্টিয়ার মডেল প্রতি কয়েক মাসে আসে, পুরানোগুলি সূর্যাস্ত হয়, এবং বেশ কয়েকটি প্রদানকারী স্বল্প নোটিশে মডেল অবসর দিয়েছে। বেশিরভাগ দল যাই হোক একটি মডেল চালাচ্ছে না। বর্তমান বাস্তবতা, সারা বছর ধরে ইঞ্জিনিয়ারিং সমীক্ষায় প্রমাণিত, হল প্রোডাকশন স্ট্যাক একসাথে বেশ কয়েকটি মডেল উড়ন্ত রাখে: কঠিন যুক্তির জন্য একটি ফ্রন্টিয়ার মডেল, রুটিন কলের জন্য একটি সস্তা মডেল, কখনও কখনও এমন ডেটার জন্য একটি স্ব-হোস্টেড মডেল যা ভবন ছেড়ে যেতে পারে না। সেগুলির প্রত্যেকটি তার নিজস্ব ডেপ্রিকেশন ঘড়িতে। তাই পিন পরিবর্তন সরায় না। এটি একটি অপ্রত্যাশিত পরিবর্তনকে একটি নির্ধারিত পরিবর্তনে রূপান্তরিত করে। এটি একটি বাস্তব উন্নতি, কারণ একটি নির্ধারিত পরিবর্তন এমন কিছু যা আপনি স্টাফ এবং বাজেট করতে পারেন। এটি কেবল তখনই একটি বিপর্যয় যখন আপনি পিনকে স্থায়িত্ব হিসাবে বিবেচনা করেছিলেন এবং এটি মেয়াদ শেষ হওয়ার দিনের জন্য পরিকল্পনায় কিছু রাখেননি। যে জিনিসটি সবাই মূল্য নির্ধারণ করতে ভুলে যায়: মডেল একমাত্র জিনিস নয় যা পরিবর্তিত হয় এখানে সেই অংশ যা পুনঃযোগ্যতাকে তুচ্ছের পরিবর্তে ব্যয়বহুল করে তোলে। যখন আপনি একটি মডেল সংস্করণ থেকে পরেরটিতে যান, মডেলটি একটি ড্রপ-ইন অংশ নয়। পুরানো মডেলের উপরে আপনি যা কিছু তৈরি করেছেন, প্রায় সবকিছুই, আপনি চেয়েছিলেন বা না চেয়েছিলেন, সেই মডেলের নির্দিষ্ট আচরণের জন্য টিউন করা হয়েছিল। আপনার প্রম্পটগুলি এটির জন্য টিউন করা হয়েছিল। পুরানো মডেলে নির্ভরযোগ্যভাবে কাঠামোগত আউটপুট উত্পাদনকারী বাক্যাংশটি নতুনটিতে সূক্ষ্মভাবে ভিন্ন কিছু উত্পাদন করতে পারে। আপনার ফিউ-শট উদাহরণগুলি এর অদ্ভুততার জন্য ক্যালিব্রেট করা হয়েছিল। আপনার গার্ডরেলগুলি এর ব্যর্থতার মোডের বিরুদ্ধে সেট করা হয়েছিল। আপনার আউটপুট পার্সারগুলি এটি ফেরানোর প্রবণতা রাখে এমন নির্দিষ্ট আকারের বিরুদ্ধে শক্ত করা হয়েছিল। আপনার তাপমাত্রা এবং y...