Artikel ini membahas masalah praktis dalam sistem agen produksi: menggabungkan metrik evaluasi yang saling bersaing menjadi satu skor yang bermakna dan mencerminkan tujuan banyak tim. Tim harus menyeimbangkan akurasi, biaya, kecepatan, dan keandalan, dan mengoptimalkan satu dimensi sering kali merugikan dimensi lain.
Penulis berpendapat bahwa sebagian besar tim sebenarnya sudah memiliki bahan-bahannya, termasuk tiket Jira, persyaratan PM, anggaran keuangan, SLO, tiket dukungan, jejak, dan dataset evaluasi. Yang sering hilang adalah lapisan penerjemah antara tujuan bisnis dan keputusan konfigurasi agen. Produk menetapkan batas minimum kualitas, keuangan menetapkan batas maksimum biaya, teknik menetapkan ambang latensi dan keandalan, dan manajemen risiko menetapkan batasan kebijakan. Setiap konfigurasi agen kemudian dinilai dalam kerangka bersama yang sama.
Biaya mengabaikan pertukaran ini dapat diukur. Dengan mengutip kerangka CLEAR, artikel ini mencatat bahwa agen dengan akurasi serupa dapat berbeda biaya hingga 50 kali lipat, dan tingkat keberhasilan agen turun dari 60% pada satu kali jalan menjadi 25% saat konsistensinya diukur dalam delapan kali jalan. Temuan ini berasal dari satu preprint, tetapi penulis menyatakan bahwa arahnya sesuai dengan yang banyak dialami tim dalam produksi.
Prinsip utamanya adalah tetap berada di dalam kotak terlebih dahulu, baru kemudian mengoptimalkan di dalamnya. Metrik komponen tetap diperlukan untuk menjelaskan mengapa agen gagal, tetapi satu skor komposit mencegah model yang meningkatkan kualitas sambil mendorong latensi melampaui batas kesabaran pelanggan menjadi perdebatan yang terus berulang. Artikel ini mendefinisikan kotak tersebut dengan bahasa sederhana, membangun fungsi penilaian dalam sekitar 40 baris NumPy, membandingkan dua konfigurasi contoh, dan menunjukkan cara skor tersebut dapat dihubungkan ke alat evaluasi seperti LangSmith, Phoenix, dan DSPy.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing