पिछले हफ्तों में दो घटनाओं ने सशक्त AI सिस्टमों के बढ़ते जोखिमों की पुष्टि की: Open AI-Hugging Face घटना और हमारे आने वाले मॉडल Astra के बारे में सबूत कि यह हमारे Preparedness Framework के तहत महत्वपूर्ण साइबरसुरक्षा क्षमता सीमा को पूरा कर सकता है। इन विकासों के साथ-साथ, आंतरिक अनुसंधान की तेज़ी से प्रगति के साथ, सभी प्रशिक्षण चरणों में निगरानी, समालन और समावेशन के उपायों को मजबूत करने की आवश्यकता बढ़ गई।
जैसे-जैसे मॉडल अधिक क्षमताशाली बनते हैं, संबंधित जोखिम भी बढ़ते हैं। हमने स्केलिंग को अस्थायी रूप से धीमा कर दिया, जिसमें दो सप्ताह की रीन्फोर्समेंट लर्निंग (RL) प्रशिक्षण में एक विराम भी शामिल है, ताकि अनुसंधान वातावरण को मजबूत किया जा सके, रेड-टीम सिस्टम किया जा सके और निगरानी के विस्तार किया जा सके। हमारा सबसे बड़ा सरहदी RL रन अभी भी स्थगित है जबकि हम सुरक्षा उपायों को मान्य करने और समालन के प्रमाण स्थापित करने के लिए छोटे पैमाने पर प्रशिक्षण और मूल्यांकन कर रहे हैं।
हमने अब पूरे प्रशिक्षण के दौरान समान्य रूप से समालन व्यवहार के प्रमाण की मांग की है, जो चल रहे अनुसंधान और मूल्यांकनों पर आधारित है। आने वाले मॉडलों से मिले संकेत स्पष्ट रूप से दर्शाते हैं कि हमें वर्तमान Preparedness Framework के परे एक व्यापक दृष्टिकोण की आवश्यकता है। नीचे, हम अनुसंधान प्रक्रियाओं और बुनियादी ढाँचे में परिवर्तनों की विस्तृत जानकारी देते हैं, और अभी भी चल रहे काम के बारे में बताते हैं।
हमारा दृष्टिकोण तीन प्राधायिक सुरक्षा उपायों पर आधारित है: निगरानी, समालन और सुरक्षा। हम इन्हें अनुसंधान और परिनयन दोनों में लागू करते हैं, और प्रत्येक मॉडल की क्षमता, संचालन वातावरण और जोखिम स्तर के अनुसार इन्हें अनुकूलित करते हैं। जो साइबरसुरक्षा क्षमता प्राप्त कर रहे हैं, उन आगे निकले मॉडलों के लिए प्रशिक्षण और मूल्यांकन वातावरण के सुरक्षा मानदंडों को उठाना आवश्यक है।
स्रोत: OpenAI Blog · HeadlinesBriefing द्वारा सारांशित