Regulator keuangan telah lama mewajibkan bank mengikuti aturan Kenali Nasabah Anda (KYC) untuk mencegah pencucian uang. Kini, ketika nasabah semakin banyak mencakup mesin, kolumnis John Thornhill berpendapat bahwa semua orang perlu "Kenali Agen Anda" (KYA). Tidak seperti mata-mata manusia, yang motifnya biasanya berkisar pada uang, ideologi, paksaan, dan ego, agen AI tidak memiliki motivasi atau niat bawaan. Mereka dapat diprogram untuk tujuan baik atau buruk, bertindak dengan cara yang tidak dapat dijelaskan, dan lebih tidak transparan, sehingga sulit diverifikasi.
Agen AI adalah sistem perangkat lunak otonom yang dirancang untuk mencapai tujuan multi-langkah dengan intervensi manusia yang minimal. Laporan Deloitte tahun ini menemukan bahwa 23 persen perusahaan sudah menggunakannya, dan 74 persen berniat melakukannya dalam dua tahun. Thornhill mengidentifikasi tiga tantangan utama. Pertama adalah mengidentifikasi agen secara kriptografis ketika berinteraksi dengan pihak lain, yang telah ditunjukkan dapat dilakukan dalam skala besar oleh pasar pembayaran daring senilai $37tn. Kedua adalah memastikan agen berperilaku sesuai maksud, karena instruksi yang tidak tepat dapat menghasilkan konsekuensi yang tidak diinginkan. Sebuah insiden di Australia menunjukkan asisten AI memesan slot gym dengan mengeluarkan anggota lain dari daftar tunggu.
Tantangan ketiga adalah akuntabilitas dan tanggung jawab hukum ketika terjadi kesalahan. Thornhill mencatat bahwa ketika beberapa agen berinteraksi, seperti yang dilakukan kawanan 700 agen OpenAI saat meretas platform AI Hugging Face, kerumitannya berlipat ganda. Sengketa mengenai tanggung jawab kemungkinan akan menyibukkan pengacara dan perusahaan asuransi selama bertahun-tahun.
Pada akhirnya, Thornhill menyimpulkan, keberhasilan penggunaan agen AI bergantung pada tata kelola, yang pada gilirannya bergantung pada kualitas data yang mendasarinya. Craig Gravina dari Semarchy memperingatkan bahwa agen berisiko mengulangi "anti-pola" perangkat lunak lama yang awalnya berfungsi tetapi gagal seiring waktu, sehingga menimbulkan biaya keluar yang tinggi.
Sumber: Financial Times Companies · Diringkas oleh HeadlinesBriefing