Ketika Anda menekan Enter di chatbot AI, sekitar belas tahap pemrosesan terjadi sebelum jawaban Anda muncul. Pesan yang Anda ketik tidak dikirim langsung ke model—malah disusun menjadi sebuah dokumen yang berisi prompt sistem, definisi alat, memori, dokumen basis pengetahuan, riwayat percakapan, dan input baru. Proses ini, disebut rekayasa konteks, menentukan informasi apa yang sampai ke model dan dalam urutan apa.

Model dirancang tanpa keadaan (stateless), artinya ia membangun ulang riwayat percakapan dari nol setiap giliran dan berbagi sumber daya dengan pengguna lain. Jeda awal sebelum teks muncul melibatkan langkah prefilling dan decoding, caching, dan proses streaming. Berbagai penyedia menyusun dokumen ini dengan cara yang berbeda—beberapa mengambil semuanya sebelumnya, sementara yang lain membiarkan model mengambil informasi selama pemrosesan.

Dokumen yang disusun memengaruhi akurasi karena model memiliki anggaran perhatian terbatas. Setiap token yang ditambahkan secara bertahap mengurangi presisi, bahkan untuk tugas sederhana. Hal ini menjelaskan mengapa dua produk yang menggunakan model identikal dapat menghasilkan jawaban yang berbeda—dokumen yang mengelilingi pertanyaan berbeda. Arsitektur model dasar yang sama, tetapi pendekatan rekayasa konteks yang berbeda, menghasilkan output yang bervariasi. Memahami perjalanan ini—dari penyusunan input melalui pemeriksaan keamanan hingga respons streaming—mengungkap mengapa respons AI bisa bervariasi dan apa yang terjadi selama detik yang terlihat tidak aktif antara menekan Enter dan munculnya pertama kata.