Setiap agen sudah menjalankan loop. Rekayasa loop menambahkan loop di sekitar agen itu sendiri, memungkinkannya mengevaluasi keluarannya, mencoba lagi ketika pekerjaan kurang memadai, dan menyempurnakan instruksinya ketika kesalahan yang sama terulang. Saat ini, Anda memainkan peran itu: meninjau pekerjaan, mendiagnosis apa yang salah, dan meminta agen lagi. Artikel ini menunjukkan cara mengotomatiskan proses itu dengan contoh yang berfungsi, sambil mengeksplorasi di mana penilaian manusia masih diperlukan.

Model dengan 70 miliar parameter memerlukan pembacaan sekitar 140 GB bobot dari memori GPU. Pada GPU pusat data modern, transfer ini dapat memakan waktu puluhan milidetik. Perhitungan aktual yang diterapkan pada bobot ini hanya memakan sebagian kecil dari waktu itu. Ini berarti unit matematika prosesor tidak digunakan selama sebagian besar waktu yang diambil oleh langkah pembuatan token. Decoding spekulatif adalah teknik yang mengubah kapasitas yang tidak digunakan ini menjadi keluaran.

Model kedua yang jauh lebih kecil menghasilkan beberapa token kandidat terlebih dahulu. Model besar mengevaluasi semuanya dalam satu forward pass alih-alih satu pass per token, menghasilkan generasi 2-3 kali lebih cepat. Untuk membuatnya lebih baik, teks yang dihasilkan tetap secara statistik identik dengan keluaran model besar yang berjalan sendiri.

Pembuatan teks bekerja satu token pada satu waktu. Model membaca semua yang telah dihasilkan sejauh ini, menghitung distribusi probabilitas atas kosakatanya, memilih token berikutnya, menambahkan token itu ke input, dan mengulangi siklus. Setiap siklus disebut forward pass, dan setiap forward pass menjalankan input melalui semua lapisan model. Sistem inferensi modern menggunakan cache KV, yang menyimpan status perhatian untuk token yang sudah diproses, mengurangi pekerjaan di dalam setiap pass, meskipun persyaratan satu pass per token tetap ada.

Entitas kunci: Perusahaan: ByteByteGo