Tetapi kekhawatiran tentang risiko yang ditimbulkan oleh AI sekarang mengancam untuk meredupkan optimisme itu setelah karyawan saat ini dan mantan karyawan Anthropic mengeluarkan peringatan publik bahwa AI yang tidak terkendali dapat mengakhiri umat manusia dalam satu dekade. Amodei mengatakan kepada Dewan Keamanan PBB minggu lalu bahwa AI dapat mengancam umat manusia. Saingan beratnya di Open AI, Sam Altman, bersama dengan Musk, mendukung proposal Amodei untuk kerja sama industri untuk memperlambat pengembangan dan meningkatkan langkah-langkah keselamatan, dalam momen persatuan yang langka.

Kekhawatiran keselamatan telah meningkat setelah serangkaian insiden keamanan siber profil tinggi di mana "agen" AI telah menembus sistem eksternal. Minggu lalu, Open AI mengungkapkan bahwa alat-alatnya telah meretas "puluhan" situs eksternal, termasuk pemerintah. Pembuat Chat GPT pada hari Senin membatalkan rencana untuk merilis model terbarunya bulan depan, dengan alasan masalah keselamatan.

Prospektus Anthropic juga mengungkapkan rincian kinerja keuangannya sebelumnya. Perusahaan mencatat kerugian operasional lebih dari $8 miliar tahun lalu karena meningkatkan belanja untuk daya komputasi. Pendapatannya melonjak 12 kali lipat menjadi hampir $4,6 miliar tahun lalu. Tetapi biaya yang meningkat untuk sumber daya komputasi mendorong biaya operasional menjadi hampir $13 miliar. Grup ini telah menyetujui kesepakatan untuk mengamankan daya komputasi dari mitra termasuk Google, Space X, dan beberapa perusahaan yang lebih kecil. Pendapatan pada kuartal kedua tahun ini adalah $11,5 miliar, dan sedang menuju kuartal kedua berturut-turut laba operasional, meskipun berdasarkan basis yang disesuaikan.