HeadlinesBriefing favicon HeadlinesBriefing.com

OpenAI Astra मॉडल अस्पष्ट पुनरावृत्ति के कारण AI सुरक्षा विशेषज्ञों की चिंता

Hacker News •
×

OpenAI का नया Astra मॉडल The Information के अनुसार एक ऐसी तकनीक को अपनाएगा जिसे "recurrent depth" या "opaque recurrence" कहा जाता है, जो मॉडल को अधिकांश रीजनिंग मॉडल्स में सामान्य रूप से उपयोग की जाने वाली क्रमिक सोच के बाहर चलाने की अनुमति देता है। यह तकनीक मॉडल की थॉट्ट रिशे को मॉनिटर करना कठिन बनाती है, जिससे AI सुरक्षा विशेषज्ञों में चिंता जताई जाती है।

Redwood के CEO Buck Shlegeris ने अत्यंत चिंता व्यक्त की और सतर्कता जताई कि यदि OpenAI इस तकनीक को आगे बढ़ाता है तो यह "recurrence को बड़े पैमाने पर बढ़ा सकता है और Co T की पूरी तरह से मॉनिटरेबिलिटी को नष्ट कर सकता है"। लंबे समय तक AI सुरक्षा के प्रशंसक Zvi Mowshowitz ने इस तकनीक को "आगे जैसे लगना" कहा और AI लैब्स के बीच "नीचे की ओर दौड़" को रोकने के लिए कानूनों की आवश्यकता हो सकतीं हैं, यह सुझाया।

सामान्य परिस्थितियों में, रीजनिंग मॉडल की थॉट्ट रिशे क्रमिक चरण प्रदान करती हैं जो गलत व्यवहार के मॉनिटरिंग के लिए होते हैं। अस्पष्ट पुनरावृत्ति में, मॉडल एक लूप में सवालों को प्रोसेस करता है, जिससे कम पढ़ने योग्य ट्रेस शेष रहते हैं। हालांति, Astra की इस तकनीक का उपयोग सीमित लग रहा है और OpenAI ने "neuralese" में बदलने की सलाहों के विरुद्ध खड़ा होकर यह समझाया है कि उसकी chief scientist Jakub Pachocki के माध्यम से पढ़ने योग्य थॉट्ट रिशे के पर बंधन है।

The Information ने बाद में रिपोर्ट की कि Anthropic और Google Deep Mind पहले ही इस तकनीक के बारे में चर्चा कर रहे हैं। Redwood Research के chief scientist Ryan Greenblatt ने चेतावनी दी कि अस्पष्ट रीजनिंग तेवर स्केल कर सकती है, संभावित रूप से पारदर्शी चैनल्स से सभी रीजनिंग को हटा सकती है।