Oktober 2026 Korespondensi ke s@qlabs.sh·Kode·TL;DR Kami menyajikan metode orde-nol pertama yang kompetitif dengan backprop dalam pra-pelatihan model bahasa Transformer. Dust mengganggu aktivasi (gangguan node) secara independen pada setiap token, sehingga setiap token adalah anggota populasi virtual dan satu forward pass mengevaluasi semuanya secara paralel. Dust mendekati backprop secara dekat pada populasi besar (yaitu komputasi yang jauh lebih banyak) dan dalam beberapa pengaturan bahkan melampauinya. Ini mengisyaratkan bahwa dalam rezim kaya komputasi kita mungkin bisa melampaui backprop. Dust jauh lebih efisien daripada ES ruang bobot. Dari 1M token ke atas, Dust berada pada urutan $10^3$ hingga $10^4$ kali lebih efisien daripada implementasi Transformer dari EGGROLL, metode ES mutakhir, berdasarkan ekstrapolasi kami.
Metode orde-nol secara luas diyakini tidak berskala ke jaringan besar. Mengejutkan, kami menemukan model yang lebih besar lebih efisien populasi, bukan kurang: model 243M parameter mengungguli model 120 kali lebih kecil pada sebagian besar ukuran populasi. Estimasi gradien Dust selaras lebih baik dengan backprop seiring pertumbuhan populasi, dan tetap selaras dengan baik pada setiap skala yang kami uji, hingga 1B token, yang mendorong untuk penskalaan.
Pembelajaran mendalam dibangun di sekitar backprop, satu-satunya algoritma penugasan kredit yang mampu melatih jaringan saraf modern. Namun, seiring meningkatnya komputasi, kita mungkin lebih memilih algoritma yang lebih generik. Pelajaran pahit (Sutton, 2019) adalah bahwa metode umum yang berskala dengan komputasi pada akhirnya menang. Demikian pula, diferensiabilitas mungkin menjadi bias induktif yang baik dalam rezim komputasi rendah, tetapi dalam rezim komputasi tinggi ia membatasi ruang arsitektur. Algoritma penugasan kredit yang lebih fleksibel berdasarkan pencarian kemungkinan merupakan langkah penting menuju generalisasi yang jauh lebih baik. Kami menyebutnya Dust, algoritma optimasi orde-nol yang mengganggu aktivasi.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing