Speculative decoding sering dianggap cepat karena melakukan lebih sedikit pekerjaan per token. Itu tidak benar. Total jumlah operasi floating point (FLOPs) untuk urutan yang sama justru meningkat. Percepatannya berasal dari perubahan jenis pekerjaan yang dilakukan GPU.
Decoding satu token dalam satu waktu biasanya terbatas oleh memori. Untuk setiap token, GPU harus mengalirkan seluruh parameter model yang aktif, seperti 27 miliar parameter Qwen3.5-27B, dari memori global. Sementara itu, sebagian besar kapasitas komputasi menganggur. Decoding batch besar yang berisi ribuan token justru sebaliknya: terbatas oleh komputasi, dengan GPU sibuk melakukan operasi tensor.
Speculative decoding menggunakan model draf kecil untuk mengusulkan urutan token yang kemungkinan besar, yang kemudian diverifikasi oleh model besar dalam satu forward pass. Pada ukuran batch yang kecil, ini mengubah komputasi yang seharusnya terbuang menjadi kemajuan. Alih-alih menjalankan lima urutan yang masing-masing maju satu token, satu urutan dapat maju lima token sekaligus, dengan total pekerjaan yang sama.
Teknik ini memiliki batasan. Jika tingkat penerimaan di bawah 100%, setiap token yang ditolak adalah pekerjaan yang terbuang. Pada throughput tinggi, ketika GPU sudah terbatas oleh komputasi, speculation hanya menambah biaya tanpa manfaat, itulah sebabnya vLLM menyediakan pengaturan --speculative-disable-by-batch-size untuk mematikannya.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing