এখানে একটি প্রশ্ন যা আপনার ফাইন্যান্স টিমকে জিজ্ঞাসা করার মতো: এই বছরের AI বাজেট কতটুকু বাকি আছে? আশ্চর্যজনক সংখ্যক কোম্পানির জন্য, সৎ উত্তর হল "অনেক না"। কিছু এপ্রিলের মধ্যে শেষ হয়ে যায়। বার্ষিক বাজেট, এক ত্রৈমাসিকে শেষ। বড় কারণ হল আমরা এটি কীভাবে ব্যবহার করছি। আমরা চ্যাটবটকে প্রশ্ন করা থেকে এজেন্ট চালানোর দিকে চলে এসেছি। এবং এজেন্টরা শুধু উত্তর দেয় না। তারা টুল কল করে, ফাইল পড়ে, ফলাফল চেক করে এবং আরও টুল কল করে। সেই প্রতিটি পদক্ষেপ টোকেন পোড়ায়। একটি এজেন্টিক অনুরোধের খরচ একটি সাধারণ চ্যাট বার্তার চেয়ে অনেক গুণ বেশি হতে পারে। এটি সাহায্য করে না যে মূল্য নির্ধারণ নিজেই চলতে থাকে। সাবস্ক্রিপশন আছে। পে-অ্যাজ-ইউ-গো API অ্যাক্সেস আছে। কয়েক মাসের জন্য প্রদর্শিত প্রোমো আছে যা লোকেদের স্যুইচ করতে বাধা দেয়, এবং প্রতি কয়েক মাসে তাদের নিজস্ব মূল্য পয়েন্ট সহ নতুন টপ-টায়ার মডেল আসে। তাই বিল কমানোর উপায়ে যাওয়ার আগে, আসুন নিশ্চিত করি যে আমরা সবাই বুঝি আমরা আসলে কীসের জন্য অর্থ প্রদান করছি। কারণ একবার আপনি দেখতে পান যে মিটার কীভাবে কাজ করে, সঞ্চয় স্পষ্ট হয়ে যায়। একটি LLM একবারে একটি টোকেন ভবিষ্যদ্বাণী করে। প্রতিটি টোকেনের জন্য, এটি গণিতের একটি স্ট্যাক চালায়। পরবর্তী টোকেন ভবিষ্যদ্বাণী করতে, এটির আগের প্রতিটি টোকেনের জন্য গণিতের প্রয়োজন হয়। বারবার, যতক্ষণ না এটি একটি বিশেষ "আমি শেষ" টোকেন তৈরি করে। প্রতিটি API কলকে একটি টোল রোড হিসাবে কল্পনা করুন। আপনি ভিতরে যাওয়ার জন্য অর্থ প্রদান করেন (ইনপুট টোকেন), এবং আপনি বাইরে আসার জন্য অর্থ প্রদান করেন (আউটপুট টোকেন)। আউটপুট আরও ব্যয়বহুল লেন। Anthropic-এর লাইনআপকে উদাহরণ হিসাবে নিন। Claude Fable 5-এর দাম প্রতি মিলিয়ন টোকেনে $10 ইনপুট এবং প্রতি মিলিয়নে $50 আউটপুট। এটি একই কোম্পানির সবচেয়ে সস্তা এবং সবচেয়ে ব্যয়বহুল মডেলের মধ্যে 10x ব্যবধান। এখন সেই মূল্য তালিকার সবচেয়ে ছোট লাইনটি দেখুন। ক্যাশড টোকেনের দাম সাধারণ টোকেনের দশমাংশ। সেই সংখ্যাটি আপনার পকেটে রাখুন। এটি এই নিবন্ধের বাকি সবকিছুর চেয়ে বেশি মূল্যবান। ক্যাশিং ছাড়া, মডেলটির প্রতিবার পুরো কথোপকথনের প্রয়োজন হয়। আপনি বার্তা এক পাঠান। এটি বার্তা এক এবং তার উত্তর ফেরত পাঠায়। আপনি পুরো লট এবং বার্তা তিন পাঠান। এটি সেই সব এবং উত্তর দুই ফেরত পাঠায়।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing