HeadlinesBriefing favicon HeadlinesBriefing.com

OpenAI Astra মডেল অস্পষ্ট পুনরাবৃত্তি ব্যবহার করে AI নিরাপত্তা বিশেষজ্ঞদের উদ্বেগ

Hacker News •
×

OpenAI-এর নতুন Astra মডেলটি The Information-এর প্রতিবেদন অনুসারে একটি ঐসী পদ্ধতি ব্যবহার করবে যা "recurrent depth" বা "opaque recurrence" নামে পরিচিত, যা মডেলটিকে বেশিরভাগ রিজনিং মডেলে সাধারণত ব্যবহৃত হয় এমন ক্রমাগত ভাবের বাইরে চালাতে দেয়। এই পদ্ধতিটি মডেলের থট রিশের প্রসারণটিকে মনিটর করা কঠিন করে তোলে, যা AI নিরাপত্তা বিশেষজ্ঞদের মধ্যে উদ্বেগ জাগায়।

Redwood-এর CEO Buck Shlegeris অত্যন্ত উদ্বেগ প্রকাশ করেন এবং সতর্কতা জানিয়েছেন যে যদি OpenAI পদ্ধতিটি আরও এগিয়ে নেয় তবে এটি "recurrence কो বিশাল পরিমাণে বাড়িয়ে দিতে পারে এবং Co T-এর পূর্ণ রূপে মনিটরেবিলিটি ধ্বংস করতে পারে"। দীর্ঘ সময় ধরে AI নিরাপত্তা সঙ্গী Zvi Mowshowitz এই পদ্ধতিটিকে "আগুনের সাথে লড়াই করা" বলে উল্লেখ করেন এবং AI ল্যাবগুলির মধ্যে "নিচের দিকে একটি দৌড়" এড়াতে কিছু আইন প্রয়োজন হতে পারে এটি সুপারিশ করেছেন।

সাধারণ পরিস্থিতিতে, রিজনিং মডেলের থট রিশে ক্রমাগত ধাপগুলি প্রদান করে যা ভুল আচরণের মনিটরিংয়ের জন্য থাকে। অস্পষ্ট পুনরাবৃত্তিতে, মডেলটি একটি লুপে প্রশ্নগুলি প্রক্রিয়াচালনা করে, কম পড়াযোগ্য ট্রেস রেখে যায়। তবুও, Astra-এর এই পদ্ধতির ব্যবহার সীমিত মনে হচ্ছে এবং OpenAI টি "neuralese"-এ রূপান্তরিত হওয়ার সুপারিশগুলির সমন্বয়ের বিরুদ্ধে দাঁড়িয়ে আছে, chief scientist Jakub Pachocki-এর মাধ্যমে পড়াযোগ্য থট রিশের মধ্য দিয়ে নিজের প্রতি বাধ্যতা জোরদার করছে।

The Information-টি পরে রিপোর্ট করেছে যে Anthropic এবং Google Deep Mind ইতিমধ্যেই এই পদ্ধতির বিষয়ে আলোচনা করছে। Redwood Research-এর chief scientist Ryan Greenblatt হিসাবে তিনি জানিয়েছেন যে অস্পষ্ট রিজনিং দ্রুত বিস্তৃত হতে পারে, সম্ভাব্য রূপে দৃশ্যমান চ্যানেলগুলি থেকে সম্পূর্ণ রিজনিং মুছে ফেলতে পারে।