HeadlinesBriefing favicon HeadlinesBriefing.com

Human-in-the-Loop Tanpa Mengorbankan Throughput

Towards Data Science •
×

Tiga minggu setelah menerapkan agen teks-ke-SQL, seorang analis memintanya untuk "membersihkan baris uji". Agen menafsirkan ini sebagai menghapus 40% dari tabel, tetapi tindakan itu diblokir oleh langkah persetujuan manusia. Langkah ini ditambahkan karena seorang peninjau sebelumnya menangkap kueri berbahaya.

Namun, antrian persetujuan segera menjadi hambatan, dengan waktu tunggu hingga 20 menit. Para analis menjadi frustrasi, dan peninjau mulai menyetujui tanpa pemeriksaan penuh, sebuah fenomena yang dikenal sebagai "kelelahan stempel karet". Solusinya bukan mempercepat antrian, tetapi merutekan tindakan berdasarkan risiko, bukan berdasarkan jenis operasi.

Sebagian besar kueri aman dan tidak memerlukan peninjauan, sementara hanya tindakan berisiko tinggi yang memerlukan pengawasan manusia. Pendekatan ini mempertahankan keamanan tanpa mengorbankan throughput, memastikan perhatian manusia terfokus pada hal yang benar-benar penting.