Saya membangun sistem yang secara otomatis menemukan, memverifikasi, dan menerapkan persyaratan relevan dari interaksi sebelumnya tanpa menanyakan kepada pengguna dari mana asalnya.

Pelajaran intinya: hanya menarik riwayat masa lalu tidak sama dengan mengetahui apa yang sebenarnya masih akurat. Pengaturan pencarian dasar hanya menangkap 57% persyaratan yang dibutuhkan agen coding. Menambahkan lapisan verifikasi mendorongnya menjadi 100%.

Dari 8 tugas, baseline tidak mendapatkan satu pun dengan benar, pencarian dasar mendapatkan 4, dan pencarian yang sadar intent berhasil menyelesaikan semua 8. Saya melakukan semua ini dengan nol embedding, nol basis data vektor, dan sama sekali tidak ada panggilan LLM dalam pipeline.

Saya menyiapkan alur kerja agen coding yang bekerja dengan sempurna pada awalnya. Tetapi begitu sebuah proyek menjadi cukup panjang, itu mulai menyebabkan masalah. Ketika sebuah proyek melewati beberapa lusin langkah, aturan inti mulai menghilang. Tidak ada yang menghapusnya. Jendela konteks tidak penuh. Aturan-aturan itu secara teknis masih ada di log obrolan. Mereka hanya hilang dari radar karena permintaan baru tidak memicu agen untuk memeriksa apakah keputusan lama masih penting.

Misalnya, Anda mungkin memberi tahu agen pada hari pertama untuk tidak pernah mengekspos ID basis data internal dalam respons API. Enam puluh pesan kemudian, Anda memintanya membangun alur autentikasi baru. Permintaan baru itu tidak mengatakan apa pun tentang ID. Karena agen tidak memiliki alasan yang jelas untuk melihat ke belakang, ia melewati langkah itu dan mengirimkan endpoint yang membocorkan persis data yang Anda coba lindungi.

Ini bukan skenario yang dibuat-buat. Ini adalah kasus uji sebenarnya yang saya gunakan untuk artikel ini. Di bawah ini, saya akan menunjukkan kepada Anda bagaimana tiga metode berbeda menangani masalah yang tepat ini.