Anthropic mengatakan telah menghentikan multiple upaya ilmuwan tahun ini menggunakan teknologinya untuk penelitian yang dapat membantu pengembangan senjata biologi, karena pakar semakin khawatir ancaman AI terhadap keselamatan publik. Startup ini memberikan lima contoh ketika aktor "meloloskan kendali" dan upaya lain "mengaburkan" tujuan penelitian mereka untuk menghindari pengawasan. Kasus-kasus melibatkan beberapa pengguna di negara-negara yang melarang akses ke model mereka, yang meliputi Rusia, China, dan Iran.

Anthropic mengatakan telah memblokir akun yang disebut dalam laporan, tetapi tidak mengungkap nama institusi penelitian atau negara di mana insiden terjadi. Studi kasus meliputi peneliti dari "region yang tidak didukung" yang "meluangkan minggu merencanakan" eksperimen yang melibatkan influenza avian dengan model AI Claude Anthropic. Perusahaan mengatakan that filter keamanannya membatasi pekerjaan ke model paling lemah.

Ia menekankan bahwa ia tidak bisa yakin bahwa ilmuwan dalam contoh-contohnya bermaksud menyebabkan kerusakan. Informasi yang sama yang diperlukan untuk membuat senjata biologi juga dapat digunakan untuk pengembangan vaksin. Seorang gembok tentang keamanan AI kemarin ini tiba-tiba terjadi ketika Jacob Coxon berhenti dari perusahaan, mengatakan karyawan "sincere berpercaya AI bisa membunuh kita semua hingga akhir dekade".

Khawatir tentang teknologi semula tahun ini dengan rilis model canggih seperti Mythos Anthropic. Open AI juga menyebabkan alarm Juli ketika ia mengatakan model-modelnya telah otomatis menembus grup Hugging Face.