Para pemimpin perusahaan AI besar mendera alarm tentang bahaya teknologi mereka. CEO Anthropic, Dario Amodei, memperingatkan risiko serius dan meminta kemajuan lebih lambat, sementara CEO OpenAI, Sam Altman, menegaskan perlunya "mengatur kecepatan batas". Mantan peneliti Anthropic, Jacob Coxon, dan rekan Evan Hubinger memperingatkan publik bahwa AI bisa memungkinkan penciptaan senjata biologis mematikan, termasuk virus sasaran gen, jamur penghancur tanaman, dan toksin tak terdeteksi.

Studi 2022 oleh Collaborations Pharmaceuticals menunjukkan bagaimana generator molekul AI menghasilkan 40.000 agen perang kimia potensial dalam kurang dari enam jam, beberapa lebih toksik dari agen saraf diketahui. Profesor bioetika Stanford, David Magnus, yang melacak penyalahgunaan bioteknologi sejak 1990-an, bilang ancaman naik drastis. Model bahasa besar kini memberikan panduan eksperimen detail, dan bioteknologi DIY menurunkan barrier masuk.

Pelindung existing — screening pemasok DNA, tinjauan red- dan blue-teaming, dan penyesuaian tool AI — tidak sempurna. Anthropic baru-baru ini melaporkan upaya penyalahgunaan modelnya untuk memperbaiki virus, flu burung, dan atlas toksin, menyoroti permainan kucing-tikus berkelanjutan antara pengembang dan pelaku jahat.