Tahun lalu pada waktu ini, saya merilis kursus Deeplearning.ai dengan Andrew Ng tentang Mengatur Agen AI dengan tujuan mendidik pengembang tentang dasar-dasar perlindungan data untuk penerapan agen yang efektif dan bertanggung jawab. Motivasi untuk kursus ini berasal dari studi pelanggaran IBM tahun 2025, yang menemukan bahwa 97% organisasi yang mengalami pelanggaran terkait AI tidak memiliki kontrol akses AI yang memadai, dan 63% tidak memiliki kebijakan tata kelola AI sama sekali. Satu tahun adalah keabadian dalam pengembangan AI, dan kita telah menempuh perjalanan panjang dari agen tanpa tata kelola atau bergulat dengan mengatur satu agen. Tim sekarang menghadapi tantangan tata kelola baru: penyebaran agen (pertumbuhan agen AI otonom yang tidak terkendali di seluruh organisasi tanpa pelacakan, kepemilikan, atau tata kelola terpusat).
Menurut Gartner, pada 2028 perusahaan Fortune 500 rata-rata akan menggunakan lebih dari 150.000 agen AI. Namun, menurut firma tersebut, hanya 13% organisasi yang percaya bahwa mereka memiliki tata kelola agen AI yang tepat. Sejak tahun lalu, kemampuan untuk menerapkan menjadi lebih mudah dari sebelumnya. Munculnya agen pengkodean seperti claude code dan codex, serta berbagai opsi low-code/no-code telah menurunkan hambatan untuk penerapan agen secara substansial. Salah satu hasilnya adalah tim sekarang dihadapkan pada kemungkinan armada agen mereka terlibat dalam penggunaan token yang sangat boros dan menimbulkan biaya yang tidak terduga.
Tantangan serius lainnya adalah jalur tambahan untuk kebocoran data sensitif. Tidak mengherankan, tantangan tata kelola telah berevolusi. Saat ini, saya melihat pelanggan membangun agen lebih cepat dari sebelumnya, dan bentuk masalahnya telah berubah. Setahun yang lalu kami fokus pada menambahkan empat pilar tata kelola ke satu agen: manajemen siklus hidup, manajemen risiko, keamanan, dan observabilitas. Kami tahu bahkan saat itu bahwa membangun agen bukanlah bagian yang sulit.
Sekarang, ini tidak berubah, tetapi apa pergeserannya? Perbedaannya adalah ini terjadi dengan puluhan agen/sub-agen pada waktu yang sama. Agen berkembang biak lebih cepat daripada kemampuan banyak tim untuk mengaturnya. Tim sekarang perlu dilengkapi dengan platform data yang menskalakan pelacakan terpusat, izin, dan tata kelola dengan jumlah agen yang sedang dibangun. Mari kita periksa bagaimana pilar tata kelola telah berevolusi pada tahun 2026.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing