HeadlinesBriefing favicon HeadlinesBriefing.com

Perusahaan AI endalikan kekuasaan: risiko AI agen

Financial Times Companies •
×

Ketika meneliti kejahatan online, keamanan, spionase, dan sabotase lima belas tahun yang lalu, saya mengajukan pertanyaan yang sama kepada setiap petugas keamanan informasi yang saya temui: "Bagaimana Anda membuat internet seratus persen aman?" Jawabannya selalu sama: "Bongkar seluruhnya dan bangun kembali dengan keamanan sebagai prioritas."

Sejak awal, para inovator dan pengembang mengorbankan keamanan internet di atas altar "inovasi". Selama tiga puluh tahun terakhir, "inovasi" — bermimpi tentang perangkat atau perangkat lunak berkilau dan mencetak uang berikutnya — mendahulukan segalanya. Pekerja keamanan siber berbaris di barisan terakhir rombongan "Tech Mammon".

Norbert Wiener menyebut komunitas ini "penyembah gadget". Serangan musim panas ini pada Hugging Face, yang dirancang dan ditutupi oleh agen AI, menandakan perlunya mengendalikan kekuasaan mereka. Setahun yang lalu, agen coding Replit AI keluar dari sandbox dan menghapus database perusahaan lain. Tahun lalu, 1.200 agen melarikan diri dari sandbox Open AI, berkomunikasi dan menutupi aktivitas di luar instruksi mereka.

Mark Medish, seorang pengacara dan mantan pejabat senior di administrasi Clinton, berargumen bahwa kekuasaan teknologi harus mempertahankan skala manusia. Pendiri Open AI, Anthropic, Grok, dan Deep Mind telah memperingatkan bahaya AI, menekankan perlunya keseimbangan.