ক্যাশিং বড় আকারের সিস্টেম ডিজাইনের একটি মূল কৌশল। এটি এমন ডেটা সংরক্ষণ করে যার গণনা ব্যয়বহুল, যাতে পরে একই খরচ আবার না দিয়ে তা ব্যবহার করা যায়। উদাহরণস্বরূপ, একটি ওয়েবসাইট প্রতিটি পেজ লোডে ডাটাবেস কোয়েরি না চালিয়ে তার ফলাফল ক্যাশ করে রাখতে পারে।
একই নীতি বড় ভাষা মডেলের (LLM) ক্ষেত্রেও প্রযোজ্য। LLM অ্যাপ্লিকেশনে ক্যাশিং মানে আগের অনুরোধগুলোতে সম্পন্ন কাজ সংরক্ষণ করা, যাতে তা পুনরায় ব্যবহার করা যায়। এতে প্রক্রিয়াকরণ খরচ ও প্রতিক্রিয়ার সময় কমে, বিশেষ করে যখন অনুরোধগুলো একই নির্দেশনা, নথি বা প্রশ্ন ভাগ করে। এর দুটি প্রধান পদ্ধতি আছে: প্রম্পট ক্যাশিং এবং সিম্যান্টিক ক্যাশিং। উভয়েরই লক্ষ্য পুনরাবৃত্ত কাজ কমানো, তবে এরা অনুরোধের ভিন্ন ভিন্ন ধাপে কাজ করে এবং ভিন্ন নিয়ম মেনে চলে।
LLM-এর খরচ প্রধানত দুটি উৎস থেকে আসে: ইনপুট টোকেন ও আউটপুট টোকেন। আউটপুট টোকেন প্রায়ই বেশি দামি হয়, তবে ইনপুট টোকেনও ব্যয়বহুল হতে পারে, কারণ অনুরোধে প্রায়ই ব্যবহারকারীর প্রশ্নের চেয়ে অনেক বেশি কিছু থাকে। যেমন, একটি কাস্টমার-সাপোর্ট অ্যাপ্লিকেশন ১০ শব্দের প্রশ্নের সঙ্গে আচরণবিধি, উদাহরণ উত্তর, পণ্যের ডকুমেন্টেশন এবং আগের কথোপকথনের বার্তা পাঠাতে পারে, যা হাজার হাজার ইনপুট টোকেন তৈরি করে। যেসব অ্যাপ্লিকেশন প্রতিটি অনুরোধের সঙ্গে দীর্ঘ পণ্য ম্যানুয়াল পাঠায়, তারা একই বিষয়বস্তু বারবার পুনরাবৃত্তি করে, যদিও বিভিন্ন ব্যবহারকারী সেটি নিয়ে ভিন্ন ভিন্ন প্রশ্ন করেন।
প্রশ্নগুলোর মধ্যেও পুনরাবৃত্তি দেখা যায়। শত শত ব্যবহারকারী জিজ্ঞেস করতে পারেন কীভাবে প্রোফাইল ছবি পরিবর্তন করতে হয়, প্রত্যেকে আলাদা শব্দে, ফলে মডেল প্রায় একই উত্তর বারবার তৈরি করে। এতে খরচ কমানোর দুটি সুযোগ তৈরি হয়: ইতিমধ্যে প্রক্রিয়াজাত ইনপুট কনটেন্ট, যেমন পণ্য ম্যানুয়াল, পুনরায় ব্যবহার করা, এবং মূলত একই প্রশ্নের উত্তর পুনরায় ব্যবহার করা।
উৎস: ByteByteGo · সারাংশ: HeadlinesBriefing