Setiap kerangka inferensi utama merilis disagregasi prefill-decode tahun ini. NVIDIA membangunnya ke dalam Dynamo. SGLang menjadikannya default untuk penyebaran skala besar. v LLM menambahkan API konektor KV untuk mendukungnya secara native.

Konsensus terbentuk dengan cepat: pisahkan prefill dan decode Anda ke dalam pool GPU terpisah, dan throughput meningkat. Konsensus ini salah untuk sebagian besar tim. Analisis Doubleword menunjukkan bahwa penyebaran terdisagregasi yang seimbang cocok dengan throughput colokasi, tetapi pada jumlah GPU kecil kerugian pembulatan mendominasi: Anda tidak dapat mengalokasikan GPU fraksional, sehingga keuntungan spesialisasi dimakan oleh pemanfaatan pekerja yang tidak lengkap.

Manfaat praktis pada skala itu adalah penyetelan SLO independen, bukan throughput. Studi Juni 2025 yang mengevaluasi ratusan ribu titik desain menemukan bahwa disagregasi paling efektif untuk pola lalu lintas yang berat prefill dan model yang lebih besar. Untuk beban kerja lalu lintas campuran yang sebenarnya dijalankan oleh sebagian besar tim, antrian dan transfer cache KV antar node mendominasi latensi end-to-end.

Tim yang melakukan disagregasi memindahkan hambatan. Mereka tidak menghilangkannya. Saya menemui ini pada beban kerja inferensi yang melayani model klasifikasi berukuran sedang.

TPOT melonjak di bawah lalu lintas bursty, dan insting pertama adalah memisahkan prefill dari decode. Sebagai gantinya, saya mengaktifkan chunked prefill pada pool GPU yang sama. TPOT stabil.

Masalahnya adalah interferensi penjadwalan, dan chunked prefill menanganinya tanpa menambah hop jaringan. Chunked prefill memecah permintaan prefill yang panjang menjadi potongan-potongan yang lebih kecil dan menyelipkannya di antara batch decode pada GPU yang sama. Tidak ada pool node terpisah.

Tidak ada transfer cache KV melalui jaringan. Tidak ada rasio P:D untuk disetel. TNG Technology Consulting mengukur peningkatan 50 persen dalam throughput token total menggunakan v LLM standar dengan chunked prefill diaktifkan.

Batch decode masih berjalan di antara potongan prefill pada perangkat keras yang sama, tetapi interferensi penjadwalan turun ke tingkat yang dapat ditoleransi oleh sebagian besar beban kerja produksi. Untuk beban kerja di bawah kira-kira 50 permintaan per detik dengan panjang prompt sedang, batas itu cukup ketat.