HeadlinesBriefing favicon HeadlinesBriefing.com

GPT-6 প্রম্পট ক্যাশিং: দ্রুত, সস্তা AI রেসপন্স

OpenAI Blog •
×

GPT-6 একটি উন্নত প্রম্পট ক্যাশিং সিস্টেম পেশ করে যা ডিফল্টে উচ্চ ক্যাশ হিট রেট প্রদান করে এবং ক্যাশড ইনপুট টোকেনে ৯০% পর্যন্ত ছাড় দেয়। সিস্টেমটি ৩০ মিনিটের উইন্ডোতে শেয়ার্ড প্রিফিক্স পুনরায় ব্যবহার করে, দীর্ঘমেয়াদী এজেন্ট টাস্কের জন্য লেটেন্সি এবং খরচ কমায়। নতুন টুলগুলিতে ক্যাশ হিট রেট নিরীক্ষণের জন্য প্রম্পট ক্যাশিং ড্যাশবোর্ড এবং একটি ডায়াগনস্টিক টুল রয়েছে যা অনুরোধ তুলনা করে এবং মডেল, টুল বা ইনপুটে পরিবর্তন চিহ্নিত করে ক্যাশ মিস বিশ্লেষণ করে। ডেভেলপাররা এখন স্পষ্ট ক্যাশ ব্রেকপয়েন্ট ব্যবহার করে বেছে নিতে পারেন কোন প্রম্পট প্রিফিক্স ক্যাশ করা হবে এবং ক্যাশ ভাঙা ছাড়াই রিজনিং এফর্ট সমায়োজিত করতে পারেন। ক্যাশ স্থিতিশীলতা বজায় রাখতে, টুল ডেফিনিশন এবং স্কিমা সামঞ্জস্যপূর্ণ রাখুন, প্রাসঙ্গিকতার জন্য allowed_tools ব্যবহার করুন, এবং পুরনোগুলো ওভাররাইট করার পরিবর্তে ডেভেলপার মেসেজের মাধ্যমে নতুন নির্দেশিকা যোগ করুন। প্রিওয়ার্মিং আগে থেকেই পরিচিত কনটেক্সট প্রস্তুত করে, প্রসেসিংকে ইউজারের অপেক্ষার সময় থেকে বের করে দেয়। এই ঐচ্ছিক কন্ট্রোলগুলো ডিফল্ট পারফরম্যান্সের ওপর তৈরি, ডেভেলপারদের তাদের ওয়ার্কলোড অনুযায়ী ক্যাশিং কাস্টমাইজ করতে দেয়। হিট রেট নিরীক্ষণ করে, মিস তদন্ত করে, এবং আপডেটেড প্রম্পট ক্যাশিং গাইড অনুসরণ করে বা কোড রিভিউয়ের জন্য Codex ব্যবহার করে শুরু করুন।