Beberapa penelitian biologi berbahaya sangat mirip dengan penelitian yang sah, sehingga mempersulit perlindungan AI.

Pusaran tentang keamanan AI dimulai awal pekan ini ketika Jacob Coxon mengundurkan diri dari perusahaan, mengatakan bahwa karyawan "sungguh-sungguh percaya bahwa itu [AI] bisa membunuh kita semua pada akhir dekade ini." Kekhawatiran meningkat awal tahun ini dengan dirilisnya model canggih seperti Mythos dari Anthropic. Open AI juga menimbulkan kekhawatiran pada bulan Juli ketika mengatakan bahwa modelnya telah meretas secara otonom grup AI Hugging Face.

Ada konsensus yang berkembang di antara eksekutif AI dan peneliti biosekuriti bahwa penggunaan teknologi dalam biologi perlu diamankan dan diatur seiring model menjadi lebih canggih. Para ahli semakin khawatir bahwa AI dapat digunakan oleh kelompok teroris, aktor negara, atau penyerang lone-wolf untuk membuat senjata biologis, menciptakan virus, atau melepaskan patogen berbahaya yang ada. Tetapi bahkan jika AI dapat digunakan untuk merancang senjata biologis teoretis, hambatan potensial tetap ada, seperti kemampuan membuatnya dalam praktik dan sumber daya yang dibutuhkan untuk melakukannya.

Keamanan siber telah menjadi salah satu kekhawatiran terbesar bagi para advokat keselamatan. Laporan Anthropic tentang penyalahgunaan teknologinya merinci insiden termasuk "jaringan aplikasi kencan palsu yang dirancang untuk menipu pengguna hingga sistem pengawasan yang dibangun untuk mengidentifikasi dan memantau pembangkang." Laboratorium itu juga mengungkapkan detail baru dari klaim bahwa tujuh laboratorium yang berbasis di China, termasuk Moonshot dan Deep Seek, mencoba mereplikasi teknologinya melalui proses yang dikenal sebagai distilasi. Anthropic mengatakan telah mendeteksi "metode yang semakin canggih untuk menghindari pertahanan kami dan memanen kemampuan model frontier AS."

Entitas Utama: Perusahaan: Anthropic, Open AI, Hugging Face, Moonshot, Deep Seek, The Financial Times Ltd. | Orang: Jacob Coxon, Michael Peel | Lokasi: China, London