অক্টোবর 2026 s@qlabs.sh-এ পত্রাচার·কোড·TL;DR আমরা প্রথম শূন্য-ক্রম পদ্ধতি উপস্থাপন করছি যা ট্রান্সফরমার ভাষা মডেলের প্রিট্রেইনিংয়ে ব্যাকপ্রপের সাথে প্রতিযোগিতামূলক। Dust প্রতিটি টোকেনে স্বাধীনভাবে অ্যাক্টিভেশনগুলিকে বিঘ্নিত করে (নোড বিঘ্নন), তাই প্রতিটি টোকেন একটি ভার্চুয়াল জনসংখ্যা সদস্য এবং একটি ফরোয়ার্ড পাস তাদের সবাইকে সমান্তরালে মূল্যায়ন করে। বড় জনসংখ্যায় (অর্থাৎ যথেষ্ট বেশি গণনা) Dust ব্যাকপ্রপের কাছাকাছি অনুমান করে এবং একাধিক সেটিংসে এমনকি এটি অতিক্রম করে। এটি ইঙ্গিত দেয় যে গণনা-সমৃদ্ধ শাসনে আমরা ব্যাকপ্রপকে অতিক্রম করতে সক্ষম হতে পারি। Dust ওয়েট-স্পেস ES-এর তুলনায় মাত্রার ক্রমে বেশি কার্যকরী। 1M টোকেন থেকে শুরু করে, আমাদের এক্সট্রাপোলেশনের ভিত্তিতে, Dust EGGROLL-এর একটি ট্রান্সফরমার বাস্তবায়নের চেয়ে $10^3$ থেকে $10^4$ গুণ বেশি কার্যকরী, যা একটি অত্যাধুনিক ES পদ্ধতি।
শূন্য-ক্রম পদ্ধতিগুলি ব্যাপকভাবে বিশ্বাস করা হয় যে বড় নেটওয়ার্কগুলিতে স্কেল করে না। আশ্চর্যজনকভাবে, আমরা দেখতে পাই যে বড় মডেলগুলি বেশি জনসংখ্যা-কার্যকরী, কম নয়: একটি 243M-প্যারামিটার মডেল বেশিরভাগ জনসংখ্যা আকারে $120\times$ ছোট মডেলের চেয়ে ভালো কাজ করে। জনসংখ্যা বাড়ার সাথে সাথে Dust-এর গ্রেডিয়েন্ট অনুমানগুলি ব্যাকপ্রপের সাথে আরও ভালভাবে সারিবদ্ধ হয়, এবং আমরা প্রতিটি স্কেলে যা পরীক্ষা করি, 1B টোকেন পর্যন্ত, ভালভাবে সারিবদ্ধ থাকে, যা স্কেলিংয়ের জন্য উৎসাহজনক।
গভীর শিক্ষা ব্যাকপ্রপের চারপাশে নির্মিত হয়েছে, একমাত্র ক্রেডিট বরাদ্দ অ্যালগরিদম যা আধুনিক নিউরাল নেটওয়ার্কগুলিকে প্রশিক্ষণ দিতে সক্ষম। তবে, গণনা বাড়ার সাথে সাথে আমরা আরও সাধারণ অ্যালগরিদম পছন্দ করতে পারি। তিক্ত শিক্ষা (Sutton, 2019) হল যে সাধারণ পদ্ধতিগুলি যা গণনার সাথে স্কেল করে শেষ পর্যন্ত জয়ী হয়। একইভাবে, পার্থক্যযোগ্যতা কম-গণনা শাসনে একটি ভাল আবেশিক পক্ষপাত হতে পারে, কিন্তু উচ্চ-গণনা শাসনে এটি আর্কিটেকচার স্থানকে সীমাবদ্ধ করে। অনুসন্ধানের উপর ভিত্তি করে একটি আরও নমনীয় ক্রেডিট বরাদ্দ অ্যালগরিদম সম্ভবত অনেক ভাল সাধারণীকরণের দিকে একটি গুরুত্বপূর্ণ পদক্ষেপ। আমরা এটিকে Dust বলি, একটি শূন্য-ক্রম অপ্টিমাইজেশন অ্যালগরিদম যা অ্যাক্টিভেশনগুলিকে বিঘ্নিত করে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing