ভাষার জন্য ক্রমাগত ডিফিউশন মডেলগুলিতে সাম্প্রতিক কার্যকলাপ ইঙ্গিত দেয় যে এই পদ্ধতিটি কয়েক বছরের নিষ্ক্রিয়তার পর ফিরে আসছে। সম্পূর্ণরূপে বিচ্ছিন্ন ডিফিউশন পদ্ধতিগুলি পূর্ববর্তী ক্রমাগত ডিফিউশন প্রচেষ্টাগুলিকে মূলত প্রতিস্থাপন করেছিল, কিন্তু প্রবাহটি পরিবর্তন করতে শুরু করেছে। আধুনিক ভাষা মডেলগুলি প্রধানত স্বয়ংক্রিয়ভাবে ক্রম তৈরি করে, এক টোকেনের পর এক টোকেনের ক্রম তৈরি করে, যা শিক্ষক ফোর্সিংয়ের মাধ্যমে সমান্তরাল প্রশিক্ষণের মাধ্যমে অত্যন্ত স্কেলেবল প্রমাণিত হয়েছে। তবে, স্বয়ংক্রিয়তা একমাত্র পুনরাবৃত্তীয় জেনারেটিভ পদ্ধতি নয়—গবেষকরা ভাষা উৎপাদনের জন্য ডিফিউশন অন্বেষণ করেছেন, যা ধীরে ধীরে তথ্য ধ্বংস করে এমন একটি দূষণ প্রক্রিয়াকে বিপরীত করে। 2021 সালে প্রাথমিক বিচ্ছিন্ন ডিফিউশন মডেলগুলি আবির্ভূত হয়েছিল, যেগুলি শ্রেণীবদ্ধ ডেটা পরিচালনা করার জন্য বিচ্ছিন্ন পদ্ধতিগুলি দিয়ে ক্রমাগত দূষণ প্রতিস্থাপন করেছিল। 2022 সালে, বিচ্ছিন্ন ডেটার জন্য ক্রমাগত ডিফিউশন জনপ্রিয়তা অর্জন করেছিল, যেমন ডিফিউশন-এলএম, যা বিচ্ছিন্ন বিভাগগুলিকে ক্রমাগত এম্বেডিং ভেক্টরগুলির সাথে উপস্থাপন করেছিল, যা গাউসিয়ান শোর দূষণের জন্য সংবেদনশীল ছিল, যা মূল অ্যালগরিদমে কোনও পরিবর্তন ছাড়াই প্রতিষ্ঠিত গাউসিয়ান ডিফিউশন প্রক্রিয়াগুলির প্রয়োগকে সক্ষম করেছিল।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing