GPT-6 एक बेहतर प्रॉम्प्ट कैशिंग सिस्टम पेश करता है जो डिफ़ॉल्ट रूप से उच्च कैश हिट दरें प्रदान करता है और कैश्ड इनपुट टोकन पर 90% तक की छूट देता है। यह सिस्टम 30-मिनट की विंडो में साझा प्रीफिक्स का पुन: उपयोग करता है, जिससे लंबे समय तक चलने वाले एजेंट कार्यों के लिए विलंबता और लागत कम होती है। नए टूल में कैश हिट दरों की निगरानी के लिए प्रॉम्प्ट कैशिंग डैशबोर्ड और एक डायग्नोस्टिक टूल शामिल है जो अनुरोधों की तुलना करके और मॉडल, टूल या इनपुट में परिवर्तनों की पहचान करके कैश मिस का विश्लेषण करता है। डेवलपर्स अब स्पष्ट कैश ब्रेकपॉइंट का उपयोग करके चुन सकते हैं कि किन प्रॉम्प्ट प्रीफिक्स को कैश करना है और कैश को तोड़े बिना रीजनिंग प्रयास को समायोजित कर सकते हैं। कैश स्थिरता बनाए रखने के लिए, टूल परिभाषाओं और स्कीमा को सुसंगत रखें, प्रासंगिकता के लिए allowed_tools का उपयोग करें, और पुराने को ओवरराइट करने के बजाय डेवलपर संदेशों के माध्यम से नए निर्देश जोड़ें। प्रीवार्मिंग ज्ञात संदर्भ को समय से पहले तैयार करता है, जिससे प्रोसेसिंग उपयोगकर्ता के प्रतीक्षा समय से बाहर हो जाती है। ये वैकल्पिक नियंत्रण डिफ़ॉल्ट प्रदर्शन पर निर्माण करते हैं, जिससे डेवलपर्स अपने वर्कलोड के अनुसार कैशिंग को अनुकूलित कर सकते हैं। हिट दरों की निगरानी करके, मिस की जांच करके, और अपडेटेड प्रॉम्प्ट कैशिंग गाइड का पालन करके या कोड की समीक्षा के लिए Codex का उपयोग करके शुरू करें।